[发明专利]数据展示方法、装置、电子设备以及计算机可读存储介质有效

专利信息
申请号: 202110728854.1 申请日: 2021-06-29
公开(公告)号: CN113453034B 公开(公告)日: 2023-07-25
发明(设计)人: 邱丰;王佳梨;王权 申请(专利权)人: 上海商汤智能科技有限公司
主分类号: H04N21/2187 分类号: H04N21/2187;H04N21/431;H04N21/435;H04N21/472;H04N21/478;H04N21/485
代理公司: 北京中知恒瑞知识产权代理事务所(普通合伙) 11889 代理人: 吴迪
地址: 200233 上海市徐*** 国省代码: 上海;31
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 数据 展示 方法 装置 电子设备 以及 计算机 可读 存储 介质
【权利要求书】:

1.一种数据展示方法,其特征在于,包括:

获取真实主播在直播过程中的多帧视频图像;

在确定出所述真实主播的面部正面朝向视频采集装置的情况下,确定当前时刻所述真实主播的第一面部朝向,其中,所述第一面部朝向用于表征真实主播的面部相对于视频采集装置对应的成像平面的倾斜程度;

获取基于当前时刻之前的多个连续历史时刻采集到的视频图像确定的所述真实主播的历史面部朝向,并根据所述历史面部朝向和所述第一面部朝向确定所述第一面部朝向的变化信息;所述变化信息包括:所述第一面部朝向所表征的所述倾斜程度逐渐增大的增大幅度,或者所述第一面部朝向所表征的所述倾斜程度逐渐减小的减小幅度;

基于所述变化信息确定每帧所述视频图像中所述真实主播的所述头部姿态;

在根据所述多帧视频图像对应的所述头部姿态,确定出所述真实主播的头部处于指定姿态的时间长度满足特效触发要求的情况下,在视频直播画面中展示目标特效动画;所述视频直播画面展示有所述真实主播驱动的虚拟主播模型;

其中,所述基于所述变化信息确定每帧所述视频图像中所述真实主播的所述头部姿态,包括:

在根据所述变化信息确定出所述第一面部朝向所表征的所述倾斜程度增大至超过第一阈值的情况下,确定所述真实主播的头部姿态从非指定姿态变化为所述指定姿态;在根据所述变化信息确定出所述第一面部朝向所表征的所述倾斜程度由超过所述第一阈值降低至小于第二阈值的情况下,确定所述真实主播的头部姿态从所述指定姿态变化为非指定姿态,其中,所述第二阈值小于所述第一阈值。

2.根据权利要求1所述的方法,其特征在于,所述方法还包括根据以下方法确定所述真实主播的头部姿态:

在确定出所述真实主播的面部未正面朝向视频采集装置的情况下,通过深度学习模型对所述视频直播画面进行处理,得到所述真实主播的头部姿态,并根据所述头部姿态确定所述真实主播的头部是否处于所述指定姿态。

3.根据权利要求2所述的方法,其特征在于,所述通过深度学习模型对所述视频直播画面进行处理,得到所述真实主播的头部姿态,包括:

获取目标参考图像帧;其中,所述目标参考图像帧包括至少以下一种图像帧:所述视频直播画面所属的视频序列中位于该视频直播画面之前的N个图像帧、所述视频直播画面所属的视频序列中前M个图像帧,N和M为大于零的正整数;

通过深度学习模型对所述视频直播画面和所述目标参考图像帧进行处理,得到所述真实主播的头部姿态。

4.根据权利要求1至3中任一项所述的方法,其特征在于,所述方法还包括根据以下方法确定所述真实主播的头部姿态:

对所述视频图像中所述真实主播的面部进行特征点检测,得到特征点检测结果,其中,所述特征点检测结果用于表征所述真实主播面部特征点的特征信息;

根据所述特征点检测结果确定所述真实主播的第二面部朝向,其中,所述第二面部朝向用于表征所述真实主播的面部相对于视频采集装置的方位信息;

根据所述第二面部朝向确定所述真实主播的头部姿态。

5.根据权利要求1至3中任一项所述的方法,其特征在于,所述在所述视频直播画面中展示目标特效动画,包括:

确定所述头部姿态的姿态类型;

确定与所述姿态类型相匹配的特效动画,将所述相匹配的特效动画作为驱动所述虚拟主播模型所展示的目标特效动画,并在所述视频直播画面中展示所述目标特效动画。

6.根据权利要求1至3中任一项所述的方法,其特征在于,所述在所述视频直播画面中展示目标特效动画,包括:

确定观看所述真实主播驱动的虚拟主播模型的直播过程的每个观众的类型信息;

确定与所述类型信息相匹配的特效动画,将所述相匹配的特效动画作为驱动所述虚拟主播模型所展示的所述目标特效动画,并向观众方终端发送所述目标特效动画,以在所述观众方终端展示所述目标特效动画。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海商汤智能科技有限公司,未经上海商汤智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110728854.1/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top