[发明专利]面部表情的生成方法、装置、电子设备及存储介质有效
| 申请号: | 201910241196.6 | 申请日: | 2019-03-28 |
| 公开(公告)号: | CN110009716B | 公开(公告)日: | 2023-09-26 |
| 发明(设计)人: | 袁燚;田冠中 | 申请(专利权)人: | 网易(杭州)网络有限公司 |
| 主分类号: | G06T13/40 | 分类号: | G06T13/40;G10L15/02 |
| 代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 张宁;刘芳 |
| 地址: | 310052 浙江省*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 面部 表情 生成 方法 装置 电子设备 存储 介质 | ||
1.一种面部表情的生成方法,其特征在于,包括:
获取待处理的语音信息,并对所述语音信息进行特征提取,得到所述语音信息的第一语音特征向量,其中,所述第一语音特征向量包括多个语音特征参数,每一个所述语音特征参数用于指示出一个基于语音的梅尔频率倒谱系数;
将所述第一语音特征向量输入到预设的识别模型中,得到第一表情向量,其中,所述第一表情向量中包括多个表情参数,所述识别模型为双向长短期记忆Bi-LSTM神经网络模型;
对所述第一表情向量进行平滑处理,得到平滑处理后的第一表情向量;
根据所述平滑处理后的第一表情向量对待处理的三维动画模型进行拟合,得到具有表情的三维动画模型;
在所述获取待处理的语音信息之前,还包括:
获取待训练的至少一个第二语音特征向量,其中,每一个所述第二语音特征向量中包括多个待训练的基于语音的梅尔频率倒谱系数;
获取每一个所述第二语音特征向量对应的第二表情向量,其中,每一个所述第二表情向量中包括多个待训练的表情参数,每一个所述第二表情向量用于指示出一种面部表情;
将所述至少一个第二语音特征向量和每一个所述第二语音特征向量对应的第二表情向量,输入到初始的识别模型中,得到所述预设的识别模型;
获取待训练的至少一个第二语音特征向量,包括:
获取用户在封闭无噪空间内的动态视频,并获取所述动态视频中的用户在各时间段下的语音信息;
对每一个时间段下的语音信息进行特征提取,得到每一个时间段下的第二语音特征向量;
获取每一个所述第二语音特征向量对应的第二表情向量,包括:
捕捉所述用户在所述每一个时间段下的面部表情,以得到每一个时间段下的第二表情向量,其中,第二语音特征向量与第二表情向量是一一对应的。
2.根据权利要求1所述的方法,其特征在于,对所述语音信息进行特征提取,得到所述语音信息的第一语音特征向量,包括:
对所述语音信息进行快速傅氏变换处理,得到频谱值;
对所述频谱值进行梅尔滤波处理,得到梅尔频谱信息;
对所述梅尔频谱信息进行倒谱分析处理,得到多个所述基于语音的梅尔频率倒谱系数,其中,多个所述基于语音的梅尔频率倒谱系数构成所述第一语音特征向量。
3.根据权利要求1所述的方法,其特征在于,在根据所述第一表情向量对待处理的三维动画模型进行拟合,得到具有表情的三维动画模型之前,还包括:
采集用户的多种面部特征信息,其中,每一种所述面部特征信息中包括至少一种视觉特征信息和至少一种面部深度信息;
根据所述多种面部特征信息,对所述三维动画模型进行调整,得到调整后的三维动画模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于网易(杭州)网络有限公司,未经网易(杭州)网络有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910241196.6/1.html,转载请声明来源钻瓜专利网。





