[发明专利]面部表情的生成方法、装置、电子设备及存储介质有效

专利信息
申请号: 201910241196.6 申请日: 2019-03-28
公开(公告)号: CN110009716B 公开(公告)日: 2023-09-26
发明(设计)人: 袁燚;田冠中 申请(专利权)人: 网易(杭州)网络有限公司
主分类号: G06T13/40 分类号: G06T13/40;G10L15/02
代理公司: 北京同立钧成知识产权代理有限公司 11205 代理人: 张宁;刘芳
地址: 310052 浙江省*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 面部 表情 生成 方法 装置 电子设备 存储 介质
【说明书】:

本申请提供一种面部表情的生成方法、装置、电子设备及存储介质,该方法包括:对获取的语音信息进行特征提取,得到第一语音特征向量,第一语音特征向量包括多个语音特征参数,每一个语音特征参数指示出一个基于语音的梅尔频率倒谱系数;将第一语音特征向量输入到预设的识别模型中得到第一表情向量,第一表情向量中包括多个表情参数;根据第一表情向量对三维动画模型进行拟合,得到具有表情的三维动画模型。基于语音的梅尔频率倒谱系数可以保留语音的内容信息、音高、音色等等语音特征,可以更好的还原出表情动作;使得三维动画模型的面部表情更加正确,可以较好的对面部表情进行模拟,得到的表情动作是符合语音信息和语音数据的。

技术领域

本申请涉及动画技术领域,尤其涉及一种面部表情的生成方法、装置、电子设备及存储介质。

背景技术

随着三维动画技术的发展,三维动画受到越来越多用户的喜爱,并开始得到广泛的发展和应用。三维动画模型需要实现各种动作,其中,三维动画模型的面部需要面部表情的动作。从而,需要对三维动画模型的面部进行处理,以得到面部表情的动作。

现有技术中,可以采用语音对三维动画模型的面部进行拟合,进而得到具有表情的三维动画模型。首先,对原始的语音数据进行特征提取,得到音素共振峰特征;然后,采用音素共振峰特征对三维动画模型的面部进行驱动,进而得到表情动作,从而得到具有表情的三维动画模型。

然而现有技术中,对三维动画模型的面部进行驱动以得到表情动作的时候,只能采用音素共振峰特征;音素共振峰特征只包含语音的内容信息,缺失了音高和音色;从而得到的表情动作并不完整,并且,得到的表情动作与当前的语音数据所对应的真实表情是不符合的。进而,无法较好的对面部表情进行模拟,得到的三维动画模型的面部表情不正确;并且,得到的三维动画模型的面部表情与对应的语音数据并不相符合。

发明内容

本申请提供一种面部表情的生成方法、装置、电子设备及存储介质,以解决现有技术中无法较好的对面部表情进行模拟,得到的三维动画模型的面部表情不正确,得到的三维动画模型的面部表情与对应的语音数据并不相符合的问题。

第一方面,本申请实施例提供一种面部表情的生成方法,包括:

获取待处理的语音信息,并对所述语音信息进行特征提取,得到所述语音信息的第一语音特征向量,其中,所述第一语音特征向量包括多个语音特征参数,每一个所述语音特征参数用于指示出一个基于语音的梅尔频率倒谱系数;

将所述第一语音特征向量输入到预设的识别模型中,得到第一表情向量,其中,所述第一表情向量中包括多个表情参数;

根据所述第一表情向量对待处理的三维动画模型进行拟合,得到具有表情的三维动画模型。

可选的,对所述语音信息进行特征提取,得到所述语音信息的第一语音特征向量,包括:

对所述语音信息进行快速傅氏变换处理,得到频谱值;

对所述频谱值进行梅尔滤波处理,得到梅尔频谱信息;

对所述梅尔频谱信息进行倒谱分析处理,得到多个所述基于语音的梅尔频率倒谱系数,其中,多个所述基于语音的梅尔频率倒谱系数构成所述第一语音特征向量。

可选的,根据所述第一表情向量对待处理的三维动画模型进行拟合,得到具有表情的三维动画模型,包括:

对所述第一表情向量进行平滑处理,得到平滑处理后的第一表情向量;

根据所述平滑处理后的第一表情向量对待处理的三维动画模型进行拟合,得到具有表情的三维动画模型。

可选的,在所述获取待处理的语音信息之前,还包括:

获取待训练的至少一个第二语音特征向量,其中,每一个所述第二语音特征向量中包括多个待训练的基于语音的梅尔频率倒谱系数;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于网易(杭州)网络有限公司,未经网易(杭州)网络有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910241196.6/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top