[发明专利]音频播放方法、装置、设备和存储介质在审

专利信息
申请号: 202210912801.X 申请日: 2022-07-31
公开(公告)号: CN115359156A 公开(公告)日: 2022-11-18
发明(设计)人: 杨昭;许剑峰 申请(专利权)人: 荣耀终端有限公司
主分类号: G06T13/20 分类号: G06T13/20;G06T13/40;G06T19/20;G06V20/40;G06V40/16;G06N3/04;G06N3/08;G10L25/30;H04W4/80
代理公司: 深圳中一联合知识产权代理有限公司 44414 代理人: 李红艳
地址: 518040 广东省深圳市福田区香蜜湖街道*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 音频 播放 方法 装置 设备 存储 介质
【说明书】:

本申请公开了一种音频播放方法、装置、设备和存储介质,属于计算机技术领域。所述方法包括:在音频播放过程中获取当前播放的音频帧的音频特征,然后根据该音频特征获取人脸表情数据。之后,根据该人脸表情数据对预设人像模型的人脸表情进行调整,如此预设人像模型的人脸表情就可以体现对当前音频帧的音频内容的理解。之后,在播放音频帧的过程中显示预设人像模型的人脸图像,就可以使得用户在聆听音频的同时还能观看到附带有音频内容理解的预设人像模型的人脸表情,从而可以便于用户加深对音频内容的理解,获得更好的聆听体验。

技术领域

本申请涉及计算机技术领域,特别涉及一种音频播放方法、装置、设备和存储介质。

背景技术

随着计算机技术的发展,人们在工作和生活中越来越多的使用诸如手机、平板电脑等终端。在用户使用终端播放音频时,为了满足用户在视觉上的需求,可以在播放音频的同时显示与音频匹配的渲染图形。然而,该渲染图形只能简单的表征音频的节奏和强度,对用户的聆听体验的提升有限。

发明内容

本申请提供了一种音频播放方法、装置、设备和存储介质,可以提升用户的聆听体验。所述技术方案如下:

第一方面,提供了一种音频播放方法。在该方法中,在音频播放过程中获取当前播放的音频帧的音频特征,然后根据该音频特征获取人脸表情数据,该人脸表情数据用于体现对该音频特征所属的音频内容的理解。之后,根据该人脸表情数据对预设人像模型的人脸表情进行调整。在播放该音频帧的过程中显示预设人像模型的人脸图像。

该音频特征可以是包括有一个或多个维度的子特征数据的特征向量。

该人脸表情数据用于指示专业音乐人在聆听该音频特征所属的音频内容时会做出的人脸表情,该人脸表情附带有专业音乐人对该音频内容的理解,即附带有专业音乐人对该音频内容消化以后的情绪表达。

该人脸表情数据可以包括多个人脸关键点的位置。人脸关键点可以定位人脸特定位置,如此,通过多个人脸关键点就可以获得抽象的人脸姿态信息(即人脸表情)。示例地,该多个人脸关键点可以包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等部位的定位点。

可选地,该人脸表情数据包括的多个人脸关键点的位置是以预先设置的标准人像模型为基准确定的。也即,该人脸表情数据可以是标准人像模型的人脸表情数据,也即,该人脸表情数据可以包括标准人像模型的人脸(即标准人脸)中多个人脸关键点的位置。

在本申请中,根据该人脸表情数据对预设人像模型的人脸表情进行调整后,预设人像模型的人脸表情就可以体现对当前音频帧的音频内容的理解,因而显示预设人像模型的人脸图像后,用户在聆听音频的同时还可以观看到附带有音频内容理解的预设人像模型的人脸表情,从而可以便于用户加深对音频内容的理解,获得更好的聆听体验。

在一种可能的方式中,根据该音频特征获取人脸表情数据的操作可以为:将该音频特征输入第一音频表情模型,由第一音频表情模型输出该人脸表情数据。

第一音频表情模型用于确定在聆听各种音频特征所属的音频内容时会出现的人脸表情。也即,在将某个音频特征输入第一音频表情模型后,第一音频表情模型会确定出在聆听这个音频特征所属的音频内容时会出现的人脸表情,然后输出相应的人脸表情数据。

在本申请中,可以通过第一音频表情模型直接确定该音频特征对应的人脸表情数据,该音频特征对应的人脸表情数据指示的人脸表情附带有对该音频特征所属的音频内容的理解。如此,通过第一音频表情模型可以简单快速的确定出人脸表情数据。

在另一种可能的方式中,该音频特征包括多个子特征数据,这种情况下,根据该音频特征获取人脸表情数据的操作可以为:将该音频特征中的多个子特征数据中每个子特征数据与对应的权重相乘,得到目标音频特征;将目标音频特征输入第二音频表情模型,由第二音频表情模型输出该人脸表情数据。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于荣耀终端有限公司,未经荣耀终端有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202210912801.X/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top