[发明专利]动画合成方法、装置、移动终端和电子设备

权利要求书

1.一种动画合成方法，包括：

获取声音文件；

获取所述声音文件中的语音识别特征；

根据唇动参数获取模型对所述语音识别特征进行处理，以获取语音唇动参数；以及

根据所述语音唇动参数和人脸模型生成唇动动画。

2.根据权利要求1所述的动画合成方法，其中，所述获取所述声音文件中的语音识别特征，包括：

将所述声音文件输入至近场识别模型；以及

通过所述近场识别模型提取所述声音文件中的语音信息，以得到所述语音识别特征。

3.根据权利要求2所述的动画合成方法，其中，所述唇动参数获取模型通过以下方式训练得到：

获取样本人脸视频和对应的声音；

根据所述近场识别模型对所述声音进行处理，以获取样本语音识别特征；

根据人脸建模模型对所述样本人脸视频进行处理，以获取目标唇动参数；

将所述样本语音识别特征输入所述唇动参数获取模型，以生成预测的语音唇动参数；以及

根据所述预测的语音唇动参数和所述目标唇动参数生成损失值，并根据所述损失值对所述唇动参数获取模型进行训练。

4.根据权利要求1所述的动画合成方法，其中，还包括：

获取所述人脸模型的迁移权重；

根据所述迁移权重和所述语音唇动参数，获取加权唇动参数；以及

根据所述加权唇动参数和所述人脸模型生成唇动动画。

5.根据权利要求4所述的动画合成方法，其中，通过以下公式获取所述加权唇动参数：

bs₂＝bs₁*W，

其中，所述bs₂为所述加权唇动参数，所述bs₁为所述语音唇动参数，所述W为所述迁移权重。

6.根据权利要求1所述的动画合成方法，其中，所述根据所述语音唇动参数和人脸模型生成唇动动画，包括：

将所述人脸模型转化为人脸网格模型；以及

将所述语音唇动参数代入所述人脸网格模型进行计算，以生成唇动动画。

7.一种动画合成装置，包括：

第一获取模块，用于获取声音文件；

第二获取模块，用于获取所述声音文件中的语音识别特征；

第三获取模块，用于根据唇动参数获取模型对所述语音识别特征进行处理，以获取语音唇动参数；以及

生成模块，用于根据所述语音唇动参数和人脸模型生成唇动动画。

8.根据权利要求7所述的动画合成装置，其中，所述第二获取模块，具体用于：

将所述声音文件输入至近场识别模型；以及

通过所述近场识别模型提取所述声音文件中的语音信息，以得到所述语音识别特征。

9.根据权利要求8所述的动画合成装置，还包括：

训练模块，用于获取样本人脸视频和对应的声音；根据所述近场识别模型对所述声音进行处理，以获取样本语音识别特征；根据人脸建模模型对所述样本人脸视频进行处理，以获取目标唇动参数；将所述样本语音识别特征输入所述唇动参数获取模型，以生成预测的语音唇动参数；以及根据所述预测的语音唇动参数和所述目标唇动参数生成损失值，并根据所述损失值对所述唇动参数获取模型进行训练。

10.根据权利要求7所述的动画合成装置，其中，所述生成模块，还用于：

获取所述人脸模型的迁移权重；

根据所述迁移权重和所述语音唇动参数，获取加权唇动参数；以及

根据所述加权唇动参数和所述人脸模型生成唇动动画。