[发明专利]数据展示方法、装置、电子设备以及计算机可读存储介质有效
| 申请号: | 202110728854.1 | 申请日: | 2021-06-29 |
| 公开(公告)号: | CN113453034B | 公开(公告)日: | 2023-07-25 |
| 发明(设计)人: | 邱丰;王佳梨;王权 | 申请(专利权)人: | 上海商汤智能科技有限公司 |
| 主分类号: | H04N21/2187 | 分类号: | H04N21/2187;H04N21/431;H04N21/435;H04N21/472;H04N21/478;H04N21/485 |
| 代理公司: | 北京中知恒瑞知识产权代理事务所(普通合伙) 11889 | 代理人: | 吴迪 |
| 地址: | 200233 上海市徐*** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据 展示 方法 装置 电子设备 以及 计算机 可读 存储 介质 | ||
1.一种数据展示方法,其特征在于,包括:
获取真实主播在直播过程中的多帧视频图像;
在确定出所述真实主播的面部正面朝向视频采集装置的情况下,确定当前时刻所述真实主播的第一面部朝向,其中,所述第一面部朝向用于表征真实主播的面部相对于视频采集装置对应的成像平面的倾斜程度;
获取基于当前时刻之前的多个连续历史时刻采集到的视频图像确定的所述真实主播的历史面部朝向,并根据所述历史面部朝向和所述第一面部朝向确定所述第一面部朝向的变化信息;所述变化信息包括:所述第一面部朝向所表征的所述倾斜程度逐渐增大的增大幅度,或者所述第一面部朝向所表征的所述倾斜程度逐渐减小的减小幅度;
基于所述变化信息确定每帧所述视频图像中所述真实主播的所述头部姿态;
在根据所述多帧视频图像对应的所述头部姿态,确定出所述真实主播的头部处于指定姿态的时间长度满足特效触发要求的情况下,在视频直播画面中展示目标特效动画;所述视频直播画面展示有所述真实主播驱动的虚拟主播模型;
其中,所述基于所述变化信息确定每帧所述视频图像中所述真实主播的所述头部姿态,包括:
在根据所述变化信息确定出所述第一面部朝向所表征的所述倾斜程度增大至超过第一阈值的情况下,确定所述真实主播的头部姿态从非指定姿态变化为所述指定姿态;在根据所述变化信息确定出所述第一面部朝向所表征的所述倾斜程度由超过所述第一阈值降低至小于第二阈值的情况下,确定所述真实主播的头部姿态从所述指定姿态变化为非指定姿态,其中,所述第二阈值小于所述第一阈值。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括根据以下方法确定所述真实主播的头部姿态:
在确定出所述真实主播的面部未正面朝向视频采集装置的情况下,通过深度学习模型对所述视频直播画面进行处理,得到所述真实主播的头部姿态,并根据所述头部姿态确定所述真实主播的头部是否处于所述指定姿态。
3.根据权利要求2所述的方法,其特征在于,所述通过深度学习模型对所述视频直播画面进行处理,得到所述真实主播的头部姿态,包括:
获取目标参考图像帧;其中,所述目标参考图像帧包括至少以下一种图像帧:所述视频直播画面所属的视频序列中位于该视频直播画面之前的N个图像帧、所述视频直播画面所属的视频序列中前M个图像帧,N和M为大于零的正整数;
通过深度学习模型对所述视频直播画面和所述目标参考图像帧进行处理,得到所述真实主播的头部姿态。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述方法还包括根据以下方法确定所述真实主播的头部姿态:
对所述视频图像中所述真实主播的面部进行特征点检测,得到特征点检测结果,其中,所述特征点检测结果用于表征所述真实主播面部特征点的特征信息;
根据所述特征点检测结果确定所述真实主播的第二面部朝向,其中,所述第二面部朝向用于表征所述真实主播的面部相对于视频采集装置的方位信息;
根据所述第二面部朝向确定所述真实主播的头部姿态。
5.根据权利要求1至3中任一项所述的方法,其特征在于,所述在所述视频直播画面中展示目标特效动画,包括:
确定所述头部姿态的姿态类型;
确定与所述姿态类型相匹配的特效动画,将所述相匹配的特效动画作为驱动所述虚拟主播模型所展示的目标特效动画,并在所述视频直播画面中展示所述目标特效动画。
6.根据权利要求1至3中任一项所述的方法,其特征在于,所述在所述视频直播画面中展示目标特效动画,包括:
确定观看所述真实主播驱动的虚拟主播模型的直播过程的每个观众的类型信息;
确定与所述类型信息相匹配的特效动画,将所述相匹配的特效动画作为驱动所述虚拟主播模型所展示的所述目标特效动画,并向观众方终端发送所述目标特效动画,以在所述观众方终端展示所述目标特效动画。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海商汤智能科技有限公司,未经上海商汤智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110728854.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种布氏硬度检测方法及检测系统
- 下一篇:一种叠层复合材料钻削实验专用夹具
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





