[发明专利]一种增强现实的主播方法、装置和系统在审
申请号: | 201710399363.0 | 申请日: | 2017-05-31 |
公开(公告)号: | CN107248195A | 公开(公告)日: | 2017-10-13 |
发明(设计)人: | 周湘君;强项;贺子彬;宋佩颖;蒋晓光 | 申请(专利权)人: | 珠海金山网络游戏科技有限公司;成都西山居互动娱乐科技有限公司 |
主分类号: | G06T19/00 | 分类号: | G06T19/00;G06T13/40 |
代理公司: | 广州嘉权专利商标事务所有限公司44205 | 代理人: | 俞梁清 |
地址: | 519000 广东省珠*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 增强 现实 方法 装置 系统 | ||
1.一种增强现实的主播方法,其特征在于,包括以下步骤:
A、创建虚拟现实主播角色,并导入至图形引擎,得到AR主播模型;
B、实时捕捉真实的演员动作信息,然后关联和控制所述AR主播模型;
C、将所述AR主播模型的实时画面叠加到摄像头的实时画面中;
其中,所述动作信息包括肢体动作、面部表情和声音。
2.根据权利要求1所述的增强现实的主播方法,其中所述步骤A包括:
根据原画资料,为所述虚拟现实主播角色配置人设特性数据,人设特性数据包含职业信息、性格信息或人物背景特性,并且为所述AR主播模型配置贴图、材质和角色骨骼。
3.根据权利要求2所述的增强现实的主播方法,其中所述步骤A还包括:
将所述AR主播模型及其匹配的角色动画骨骼导入至所述图形引擎中运算骨骼动画。
4.根据权利要求1所述的增强现实的主播方法,其中所述步骤B包括:
捕捉所述演员的肢体动作、面部表情和声音,转换为与所述虚拟现实主播角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据,然后关联至图形引擎中的相应的AR主播模型,并且配置所述演员的肢体动作、面部表情和声音与所述AR主播模型动画的肢体动作、面部表情和声音能够实时同步。
5.根据权利要求4所述的增强现实的主播方法,其中所述步骤B还包括:
制作虚拟角色的角色骨骼模型,然后导入至所述图形引擎中,以匹配所述AR主播模型的角色动画骨骼;
根据该骨骼模型来实时捕捉和转换演员的肢体动作数据,将实时捕捉的肢体动作数据生成动作控制指令,通过所述图形引擎生成相应的AR主播模型的动作姿态;
根据AR主播的动作制作成动画。
6.根据权利要求4所述的增强现实的主播方法,其中所述步骤B还包括:
制作所述演员的面部模型,以匹配所述AR主播的面部表情动画;
根据该面部骨骼来实时捕捉和转换演员的面部动作数据,将实时捕捉的面部动作数据生成面部表情控制指令,通过所述图形引擎生成相应的AR主播模型的面部表情形状;
在AR主播模型相应面部位置的面部表情形状之间运算生成面部表情动画过渡。
7.根据权利要求1所述的增强现实的主播方法,其中所述步骤C包括:
配置至少一组灯光,用于在增强现实的物体附近展现光影效果,以及在真实场景与虚拟影像交界附近补偿光影过渡;
实时地计算摄影机影像的位置及角度,并配置到所述虚拟现实主播角色中,以进行交互及应对拍摄。
8.一种增强现实的主播装置,其特征在于,包括:
第一模块,用于创建虚拟现实主播角色,并导入至图形引擎,生成AR主播模型;
第二模块,用于实时捕捉真实的演员动作信息,然后关联和控制所述AR主播模型;
第三模块,将所述AR主播模型的合成动画叠加至录制的视频画面;
其中,所述动作信息包括肢体动作、面部表情和声音。
9.根据权利要求8所述的增强现实的主播装置,所述第一模块还包括捕捉模块,用于:
捕捉所述演员的肢体动作、面部表情和声音,转换为与所述虚拟现实主播角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据,然后关联至图形引擎中的相应的AR主播模型,并且配置所述演员的肢体动作、面部表情和声音与所述AR主播模型动画的肢体动作、面部表情和声音能够实时同步。
10.一种增强现实的主播系统,其特征在于,包括:
动捕装置,用于实时捕捉真实演员的肢体动作;
面部表情捕捉器,用于捕捉真实演员的面部表情;
图形引擎,用于处理增强现实的画面,展现虚拟主播的画面,实时生成3D画面并和现实场景结合;
灯光和特效生成模块,用于协调灯光和场景,增加特效;以及
应用程序,该应用程序用于执行以下步骤:
创建虚拟现实主播角色,并导入至图形引擎,生成AR主播模型;
实时捕捉真实的演员动作信息,然后关联和控制所述AR主播模型;
将所述AR主播模型的合成动画叠加至录制的视频画面。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于珠海金山网络游戏科技有限公司;成都西山居互动娱乐科技有限公司,未经珠海金山网络游戏科技有限公司;成都西山居互动娱乐科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710399363.0/1.html,转载请声明来源钻瓜专利网。