[发明专利]人脸关键点信息获取方法、生成人脸动画的方法及装置

权利要求书

1.一种人脸关键点信息获取方法，其特征在于，所述方法包括：

获取对样本人脸同步录制的样本视频和样本音频；

确定所述样本视频的每一视频帧中的人脸关键点信息，以得到关键点信息序列，其中，所述人脸关键点信息包括不与发声联动的第一人脸关键点的信息；

确定所述样本音频的每一音频帧的音频频谱，以得到音频频谱序列；

将所述关键点信息序列和所述音频频谱序列作为神经网络模型的输入，并将关键点标注信息序列作为所述神经网络模型的目标输出，对所述神经网络模型进行训练，以得到人脸关键点获取模型，其中，所述关键点标注信息序列包括所述样本人脸对应于每一所述视频帧的人脸关键点标注信息，所述人脸关键点标注信息包括所述第一人脸关键点的标注信息和与发声联动的第二人脸关键点的标注信息；

利用所述人脸关键点获取模型获取人脸关键点信息。

2.根据权利要求1所述的方法，其特征在于，所述将所述关键点信息序列和所述音频频谱序列作为神经网络模型的输入，并将关键点标注信息序列作为所述神经网络模型的目标输出，对所述神经网络模型进行训练，以得到人脸关键点获取模型，包括：

对所述音频频谱序列进行编码，得到音频频谱特征向量序列；

对所述关键点信息序列进行编码，得到关键点信息特征向量序列；

根据所述音频频谱特征向量序列和所述关键点信息特征向量序列，获取关键点预测信息序列，所述关键点预测信息序列包括所述样本人脸对应于每一所述视频帧的人脸关键点预测信息，所述人脸关键点预测信息包括所述第一人脸关键点的预测信息和所述第二人脸关键点的预测信息；

根据所述关键点预测信息序列和所述关键点标注信息序列之间的差异，对所述神经网络模型进行训练，以得到所述人脸关键点获取模型。

3.根据权利要求2所述的方法，其特征在于，所述神经网络模型包括音频频谱编码器、人脸关键点编码器和解码器；

其中，所述音频频谱编码器用于对所述音频频谱序列进行编码，得到所述音频频谱特征向量序列；

所述人脸关键点编码器用于对所述关键点信息序列进行编码，得到所述关键点信息特征向量序列；

所述解码器用于根据所述音频频谱特征向量序列和所述关键点信息特征向量序列，获取所述关键点预测信息序列。

4.根据权利要求3所述的方法，其特征在于，所述解码器用于根据所述音频频谱特征向量序列和所述关键点信息特征向量序列，基于转置卷积的上采样方式，获取所述关键点预测信息序列。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述第一人脸关键点包括鼻梁关键点、脸颊边缘关键点、耳朵关键点中的至少一种。

6.一种生成人脸动画的方法，其特征在于，所述方法包括：

对获取的目标音频进行频谱转换，以得到目标音频频谱序列；

将所述目标音频频谱序列输入人脸关键点获取模型，以得到与所述目标音频对应的目标人脸关键点信息序列，其中，所述人脸关键点获取模型是根据权利要求1-5中任一项所述的方法得到的；

根据所述目标人脸关键点信息序列和目标人脸的基准人脸图像，生成所述目标人脸的动画。

7.一种人脸关键点信息获取装置，其特征在于，所述装置包括：

第一获取模块，用于获取对样本人脸同步录制的样本视频和样本音频；

第一确定模块，用于确定所述样本视频的每一视频帧中的人脸关键点信息，以得到关键点信息序列，其中，所述人脸关键点信息包括不与发声联动的第一人脸关键点的信息；

第二确定模块，用于确定所述样本音频的每一音频帧的音频频谱，以得到音频频谱序列；

训练模块，用于将所述关键点信息序列和所述音频频谱序列作为神经网络模型的输入，并将关键点标注信息序列作为所述神经网络模型的目标输出，对所述神经网络模型进行训练，以得到人脸关键点获取模型，其中，所述关键点标注信息序列包括所述样本人脸对应于每一所述视频帧的人脸关键点标注信息，所述人脸关键点标注信息包括所述第一人脸关键点的标注信息和与发声联动的第二人脸关键点的标注信息；

第二获取模块，用于利用所述人脸关键点获取模型获取人脸关键点信息。