[发明专利]基于虚拟形象的直播方法和装置在审
| 申请号: | 201811287612.8 | 申请日: | 2018-10-31 |
| 公开(公告)号: | CN111200747A | 公开(公告)日: | 2020-05-26 |
| 发明(设计)人: | 李培基;王韧竹 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
| 主分类号: | H04N21/431 | 分类号: | H04N21/431;H04N21/442;H04N21/2187;H04N21/4788;G06T13/40;G06T13/80;G06T15/00 |
| 代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 宋合成 |
| 地址: | 100085 北京市*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 基于 虚拟 形象 直播 方法 装置 | ||
本发明提出了一种基于虚拟形象的直播方法和装置,其中,方法包括:采集主播用户的面部深度信息;根据面部深度信息确定主播用户的表情;根据表情渲染预设的虚拟形象的虚拟面部;采集主播用户的音频信息,将音频信息和虚拟面部合成视频帧,将视频帧发送到观看用户客户端。由此,在保证直播的真实性的同时,保护了直播用户的隐私,提高了用户和产品的粘性。
技术领域
本发明涉及直播技术领域,尤其涉及一种基于虚拟形象的直播方法和装置。
背景技术
随着计算机技术的发展,依托于计算机技术的娱乐行业也越来越丰富,比如,依托于计算机技术的直播行业作为新兴行业,受到了越来越广泛的关注,比如,游戏直播、直播销售等。
相关技术中,通过将主播用户以及所在环境的真实音视频信息实时发布到社交平台,实现直播,然而,这种方式,当主播用户不希望暴露真实身份时,对主播用户的隐私具有较大伤害,因此,亟需一种可以平衡直播的真实性以及隐私保护之间的矛盾的方法。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种基于虚拟形象的直播方法,以在保证直播的真实性的同时,保护了直播用户的隐私。
本发明的第二个目的在于提出一种基于虚拟形象的直播装置。
本发明的第三个目的在于提出一种计算机程序产品。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的,本发明第一方面实施例提出了一种基于虚拟形象的直播方法,包括以下步骤:采集主播用户的面部深度信息;根据所述面部深度信息确定所述主播用户的表情;
根据所述表情渲染预设的虚拟形象的虚拟面部;采集所述主播用户的音频信息,将所述音频信息和所述虚拟面部合成视频帧,将所述视频帧发送到观看用户客户端。
另外,本发明实施例的基于虚拟形象的直播方法,还具有如下附加的技术特征:
可选地,所述采集主播用户的面部深度信息,包括:通过点阵投影器向所述主播用户面部投射多个光点;拍摄经所述主播用户面部调制的结构光图像;解调所述结构光图像的各个像素对应的相位信息获取所述主播用户的面部深度信息。
可选地,所述根据所述面部深度信息确定所述主播用户的表情,包括:查询预设的第一表情数据库,获取与所述面部深度信息对应的表情;或者,计算所述面部深度信息与上次采集的面部深度信息的深度变化信息,查询预设的第二表情数据库,获取与所述深度变化信息对应的表情。
可选地,还包括:获取所述主播用户的用户特征和直播场景特征;根据所述用户特征和直播场景特征生成虚拟形象。
可选地,所述根据所述表情渲染预设的虚拟形象的虚拟面部,包括:构建与所述虚拟面部对应的虚拟立绘模型,其中,所述虚拟立绘模型包括:与所述虚拟面部中的各器官对应的包含关键点的网格区域;查询预设的二维动画编辑数据库,获取与所述表情对应的目标器官和调整参数;根据所述调整参数调整与所述目标器官对应的目标网格对所述虚拟面部进行渲染。
本发明第二方面实施例提出了一种基于虚拟形象的直播装置,包括:采集模块,用于采集主播用户的面部深度信息;确定模块,用于根据所述面部深度信息确定所述主播用户的表情;渲染模块,用于根据所述表情渲染预设的虚拟形象的虚拟面部;合成模块,用于采集所述主播用户的音频信息,将所述音频信息和所述虚拟面部合成视频帧;发送模块,用于将所述视频帧发送到观看用户客户端。
本发明第三方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时实现如前述方法实施例所述的基于虚拟形象的直播方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811287612.8/2.html,转载请声明来源钻瓜专利网。





