[发明专利]一种增强现实的主播方法、装置和系统

说明书

技术领域

本发明涉及视频合成技术领域，尤其涉及一种增强现实的主播方法、装置和系统。

背景技术

视频播放表演平台成为时下热门的娱乐媒体。主播们可以在任意的合法场所都可以进行视频直播或者演播。但是现有主播内容比较单调，而且与观众参与感不强，临场感不强。

增强现实(AR)，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，通过电脑等前沿技术，把原本在现实世界中无法体验到的真实与虚幻相结合。模拟仿真后再叠加，将虚幻的角色或物体叠加到真实的世界中，被人类视觉感官所感知，从而达到超越现实的体验。这样就可以将真实环境和虚幻的物体实时地叠加到同一个空间中。目前AR内容上多为简单的小游戏，没有与人互动的内容。此外，要将AR技术与视频主播技术结合，还存在不少技术难题，比如：实时互动性欠缺；用于AR合成的3D动画技术周期长，绘制生成动画的过程繁琐。

发明内容

本发明通过提供一种增强现实的主播方法、装置和系统，以解决上述技术问题，提高AR主播的临场感和观众互动性。

本发明采用的技术方案一方面为一种增强现实的主播方法，包括以下步骤：A、创建虚拟现实主播角色，并导入至图形引擎，生成AR主播模型；B、实时捕捉真实的演员动作信息，然后关联和控制所述AR主播模型，其中，所述动作信息包括肢体动作、面部表情和声音；C、将所述AR主播模型的合成动画叠加至录制的视频画面。

进一步，其中所述步骤A包括：根据原画资料，为所述虚拟现实主播角色配置人设特性数据，人设特性数据包含职业信息、性格信息或人物背景特性，并且为所述AR主播模型配置贴图、材质和角色动画骨骼。

进一步，其中所述步骤A还包括：将所述AR主播模型及其匹配的角色动画骨骼导入至所述图形引擎中运算骨骼动画。

进一步，其中所述步骤B包括：捕捉所述演员的肢体动作、面部表情和声音，转换为与所述虚拟现实主播角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据，然后关联至图形引擎中的相应的AR主播模型，并且配置所述演员的肢体动作、面部表情和声音与所述AR主播模型动画的肢体动作、面部表情和声音能够实时同步。

进一步，其中所述步骤B还包括：提取所述演员的骨骼模型，然后导入至所述图形引擎中，以匹配所述AR主播模型的角色动画骨骼；根据该骨骼模型来实时捕捉和转换演员的肢体动作数据，将实时捕捉的肢体动作数据生成动作控制指令，通过所述图形引擎生成相应的AR主播模型的动作姿态；在AR主播模型的动作姿态之间运算生成肢体动画。

进一步，其中所述步骤B还包括：提取所述演员的面部骨骼，然后导入至所述图形引擎中，以匹配所述AR主播模型的面部骨骼蒙皮；根据该面部骨骼来实时捕捉和转换演员的面部动作数据，将实时捕捉的面部动作数据生成面部表情控制指令，通过所述图形引擎生成相应的AR主播模型的面部表情形状；在AR主播模型相应面部位置的面部表情形状之间运算生成面部表情动画过渡。

进一步，其中所述步骤C包括：配置至少一组灯光，用于在增强现实的物体附近展现光影效果，以及在真实场景与虚拟影像交界附近补偿光影过渡；实时地计算摄影机影像的位置及角度，并配置到所述虚拟现实主播角色中，以进行交互及应对拍摄。

本发明的技术方案第二方面为一种增强现实的主播装置，包括：第一模块，用于创建虚拟现实主播角色，并导入至图形引擎，生成AR主播模型；第二模块，用于实时捕捉真实的演员动作信息，然后关联和控制所述AR主播模型；第三模块，将所述AR主播模型的合成动画叠加至录制的视频画面；其中，所述动作信息包括肢体动作、面部表情和声音。

进一步，所述第一模块还包括捕捉模块，用于：捕捉所述演员的肢体动作、面部表情和声音，转换为与所述虚拟现实主播角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据，然后关联至图形引擎中的相应的AR主播模型，并且配置所述演员的肢体动作、面部表情和声音与所述AR主播模型动画的肢体动作、面部表情和声音能够实时同步。