[发明专利]一种直播视频生成方法及装置有效
申请号: | 202110598989.0 | 申请日: | 2021-05-31 |
公开(公告)号: | CN113365085B | 公开(公告)日: | 2022-08-16 |
发明(设计)人: | 南天骄;程晗 | 申请(专利权)人: | 北京字跳网络技术有限公司 |
主分类号: | H04N21/2187 | 分类号: | H04N21/2187;G06T19/00 |
代理公司: | 北京开阳星知识产权代理有限公司 11710 | 代理人: | 唐博 |
地址: | 100190 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 直播 视频 生成 方法 装置 | ||
1.一种直播视频生成方法,其特征在于,包括:
实时获取实体对象的第一特征数据;所述实体对象包括:躯干、通过肩关节与所述躯干连接的大臂以及通过肘关节与所述大臂连接的小臂,所述第一特征数据用于表征小臂的多个部位围绕轴线方向的转动角度,所述小臂的多个部位围绕轴线方向的转动角度与所述小臂的多个部位到所述实体对象的肘关节的距离正相关;
基于实时获取的所述第一特征数据控制虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度,所述虚拟模型包括:躯干、通过肩关节与所述躯干连接的大臂以及通过肘关节与所述大臂连接的小臂,所述小臂蒙皮覆盖于所述虚拟模型的小臂的外表面,所述小臂蒙皮的多个部位围绕轴线方向的转动角度与所述小臂蒙皮的多个部位到所述虚拟模型的肘关节的距离正相关;
根据所述虚拟模型进行直播视频的图像帧的生成。
2.根据权利要求1所述的方法,其特征在于,所述虚拟模型的小臂包括:主骨骼、套接于所述主骨骼上的多段附加骨骼以及覆盖于所述多段附加骨骼上的所述小臂蒙皮;
所述基于实时获取的所述第一特征数据控制虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度,包括:
基于实时获取的所述第一特征数据控制所述多段附加骨骼中的至少一段附加骨骼围绕所述主骨骼转动,以驱动所述小臂蒙皮围绕轴线方向转动。
3.根据权利要求1所述的方法,其特征在于,所述根据所述虚拟模型进行直播视频的图像帧的生成,包括:
确定所述图像帧对应的镜头方位,所述镜头方位用于表征用于所述图像帧对应的虚拟镜头与所述虚拟模型的位置关系;
根据所述图像帧对应的镜头方位和所述虚拟模型,进行所述图像帧的生成。
4.根据权利要求3所述的方法,其特征在于,所述确定所述图像帧对应的镜头方位,包括:
显示镜头控件,所述镜头控件用于进行镜头方位的选择;
响应于用户对所述镜头控件的操作,确定所述图像帧对应的镜头方位。
5.根据权利要求3所述的方法,其特征在于,所述确定所述图像帧对应的镜头方位,包括:
基于所述第一特征数据和预设规则,确定所述图像帧对应的镜头方位。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
实时获取所述实体对象的第二特征数据;所述第二特征数据用于表征所述实体对象的面部表情;
基于实时获取的所述第二特征数据控制所述虚拟模型的面部表情。
7.根据权利要求6所述的方法,其特征在于,所述基于实时获取的所述第二特征数据控制所述虚拟模型的面部表情,包括:
将所述第二特征数据输入表情算法模型,并获取所述表情算法模型输出的表情驱动参数;其中,所述表情算法模型为基于样本数据对预设算法模型进行训练获取的模型,所述样本数据包括所述实体对象的样本表情数据和所述样本表情数据对应的表情驱动参数;
基于所述表情驱动参数对所述虚拟模型的面部进行驱动,生成所述虚拟模型的面部表情。
8.根据权利要求1所述的方法,其特征在于,所述实时获取实体对象的第一特征数据,包括:
实时获取设置于所述实体对象的小臂上的多个追踪标记的位置信息;
根据所述多个追踪标记的位置信息实时获取所述实体对象的第一特征数据。
9.根据权利要求6所述的方法,其特征在于,所述实时获取所述实体对象的第二特征数据,包括:
通过图像采集设备对所述实体对象进行图像采集,实时获取所述实体对象的面部图像;
基于实时获取的所述实体对象的面部图像,提取所述实体对象的第二特征数据。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述方法还包括:
对所述实体对象所处空间的环境音进行录制,获取环境音频数据;
根据所述环境音频数据生成所述直播视频的音频数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字跳网络技术有限公司,未经北京字跳网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110598989.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:图像显示方法和电子设备
- 下一篇:包括模块和互连线缆的光纤连接系统