[发明专利]基于虚拟形象的直播方法和装置

权利要求书

1.一种基于虚拟形象的直播方法，其特征在于，包括以下步骤：

采集主播用户的面部深度信息；

根据所述面部深度信息确定所述主播用户的表情；

根据所述表情渲染预设的虚拟形象的虚拟面部；

采集所述主播用户的音频信息，将所述音频信息和所述虚拟面部合成视频帧，将所述视频帧发送到观看用户客户端。

2.如权利要求1所述的方法，其特征在于，所述采集主播用户的面部深度信息，包括：

通过点阵投影器向所述主播用户面部投射多个光点；

拍摄经所述主播用户面部调制的结构光图像；

解调所述结构光图像的各个像素对应的相位信息获取所述主播用户的面部深度信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述面部深度信息确定所述主播用户的表情，包括：

查询预设的第一表情数据库，获取与所述面部深度信息对应的表情；

或者，

计算所述面部深度信息与上次采集的面部深度信息的深度变化信息，查询预设的第二表情数据库，获取与所述深度变化信息对应的表情。

4.如权利要求1所述的方法，其特征在于，还包括：

获取所述主播用户的用户特征和直播场景特征；

根据所述用户特征和直播场景特征生成虚拟形象。

5.如权利要求1所述的方法，其特征在于，所述根据所述表情渲染预设的虚拟形象的虚拟面部，包括：

构建与所述虚拟面部对应的虚拟立绘模型，其中，所述虚拟立绘模型包括：与所述虚拟面部中的各器官对应的包含关键点的网格区域；

查询预设的二维动画编辑数据库，获取与所述表情对应的目标器官和调整参数；

根据所述调整参数调整与所述目标器官对应的目标网格对所述虚拟面部进行渲染。

6.一种基于虚拟形象的直播装置，其特征在于，包括：

采集模块，用于采集主播用户的面部深度信息；

确定模块，用于根据所述面部深度信息确定所述主播用户的表情；

渲染模块，用于根据所述表情渲染预设的虚拟形象的虚拟面部；

合成模块，用于采集所述主播用户的音频信息，将所述音频信息和所述虚拟面部合成视频帧；

发送模块，用于将所述视频帧发送到观看用户客户端。

7.如权利要求6所述的装置，其特征在于，所述采集模块，包括：

投射单元，用于通过点阵投影器向所述主播用户面部投射多个光点；

拍摄单元，用于拍摄经所述主播用户面部调制的结构光图像；

获取单元，用于解调所述结构光图像的各个像素对应的相位信息获取所述主播用户的面部深度信息。

8.如权利要求7所述的装置，其特征在于，所述确定模块，具体用于：

查询预设的第一表情数据库，获取与所述面部深度信息对应的表情；

或者，

计算所述面部深度信息与上次采集的面部深度信息的深度变化信息，查询预设的第二表情数据库，获取与所述深度变化信息对应的表情。

9.一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令处理器执行时实现如权利要求1-5中任一所述的基于虚拟形象的直播方法。

10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的基于虚拟形象的直播方法。