[发明专利]基于可编辑三维虚拟形象生成直播视频流的方法和系统在审
申请号: | 202210726617.6 | 申请日: | 2022-06-23 |
公开(公告)号: | CN115334325A | 公开(公告)日: | 2022-11-11 |
发明(设计)人: | 胡高生;李韩;庞文刚;邹西山;林金怡;余武;吴伟华 | 申请(专利权)人: | 联通沃音乐文化有限公司 |
主分类号: | H04N21/2187 | 分类号: | H04N21/2187;H04N21/44;H04N21/435;H04N21/81;G06T17/00 |
代理公司: | 广东世纪专利事务所有限公司 44216 | 代理人: | 刘卉 |
地址: | 510700 广东省广州市黄埔区*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 编辑 三维 虚拟 形象 生成 直播 视频 方法 系统 | ||
1.一种基于可编辑三维虚拟形象生成直播视频流的方法,应用于包含直播终端、处理平台和用户终端的系统架构中,其特征在于,该方法包括:
处理平台从直播终端中获取主播的直播视频图像,并检测直播视频图像中人物的身体姿态和/或脸部表情数据;
在处理平台中建立三维虚拟形象库,处理平台从用户终端中获取决策信息,并根据决策信息从三维虚拟形象库中调用目标虚拟形象;
处理平台根据身体姿态和/或脸部表情数据将目标虚拟形象处理为二维虚拟图像,并将二维虚拟图像与直播视频图像处理为拟合视频图像,并将由拟合视频图像构成的直播视频流提供给用户终端。
2.如权利要求1所述的基于可编辑三维虚拟形象生成直播视频流的方法,其特征在于,所述在处理平台中建立三维虚拟形象库包括:所述三维虚拟形象通过够件成套的形象部件、形象部件的组合模型和形象部件的变形模型;
所述的检测直播视频图像中人物的身体姿态和/或脸部表情数据包括:检测人物的预设局部,检测各预设局部之间的坐标参数、检测预设局部的变形参数;
所述处理平台根据预设局部的变形参数设置目标虚拟形象的形象部件的变形模型,根据各预设局部之间的坐标参数设置目标虚拟形象的形象部件的组合模型,以将目标虚拟形象处理为二维虚拟图像。
3.如权利要求2所述的基于可编辑三维虚拟形象生成直播视频流的方法,其特征在于,所述形象部件的组合模型包括身体姿态组合模型和脸部表情组合模型,所述检测各预设局部之间的坐标参数包括:检测身体局部之间的姿态坐标参数,检测脸部局部之间的表情坐标参数。
4.如权利要求1所述的基于可编辑三维虚拟形象生成直播视频流的方法,其特征在于,该方法还包括:处理平台建立有操作与控制指令集,处理平台从用户终端获取用户操作数据,并根据操作与控制指令集确定控制指令,根据控制指令修改目标虚拟形象的身体姿态和/或脸部表情。
5.如权利要求4所述的基于可编辑三维虚拟形象生成直播视频流的方法,其特征在于,所述用户终端设置有操作指令,所述处理平台预设有三维虚拟形象的驱动指令,并建立有操作指令与驱动指令的映射集合,所述的根据控制指令修改目标虚拟形象的身体姿态和/或脸部表情包括:
所述三维虚拟形象由若干形象部件组成,当未响应于所述驱动指令,所述形象部件按照人物的身体姿态和/或脸部表情相组合成目标虚拟形象,当响应于所述驱动指令,至少部分包含在驱动指令中的形象部件按照驱动指令独立设置身体姿态和/或脸部表情,并与其余根据直播视频图像设置的形象部件进行组合成目标虚拟形象。
6.如权利要求1所述的基于可编辑三维虚拟形象生成直播视频流的方法,其特征在于,所述的处理平台从用户终端中获取决策信息包括:
建立用户信息和三维虚拟形象的深度学习系统,处理平台实时获取用户信息,并通过深度学习系统得出三维虚拟形象选择的决策信息。
7.如权利要求1所述的基于可编辑三维虚拟形象生成直播视频流的方法,其特征在于,所述的在处理平台中建立三维虚拟形象库包括:根据用户终端的指令修改已建立的三维虚拟形象,并将已修改的三维虚拟形象保存三维虚拟形象库。
8.一种基于可编辑三维虚拟对象生成直播视频流的系统,其特征在于,该系统包括:
视频直播模块,用于获取主播的直播视频图像,并相用户发送拟合视频图像;
三维虚拟形象库,用于以预设结构存储三维虚拟形象以供调用;
虚拟对象设置模块,用于检测直播视频图像中人物的身体姿态和/或脸部表情数据,根据决策信息从三维虚拟形象库中调佣目标虚拟形象,根据身体姿态和/或脸部表情数据将目标虚拟形象处理为二维虚拟图像,将二维虚拟图像与直播视频图像处理为拟合视频图像。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于联通沃音乐文化有限公司,未经联通沃音乐文化有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210726617.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:脸部模型风格化方法、装置、电子设备及存储介质
- 下一篇:一种交指型带通滤波器