[发明专利]人脸关键点信息获取方法、生成人脸动画的方法及装置

说明书

本公开涉及一种人脸关键点信息获取方法、生成人脸动画的方法及装置。人脸关键点信息获取方法包括：获取对样本人脸同步录制的样本视频和样本音频；确定所述样本视频的每一视频帧中的人脸关键点信息，以得到关键点信息序列；确定所述样本音频的每一音频帧的音频频谱，以得到音频频谱序列；将所述关键点信息序列和所述音频频谱序列作为神经网络模型的输入，并将关键点标注信息序列作为所述神经网络模型的目标输出，对所述神经网络模型进行训练，以得到人脸关键点获取模型；利用所述人脸关键点获取模型获取人脸关键点信息。通过本公开训练得到的人脸关键点获取模型，输出的人脸关键点准确性高、稳定性高。

技术领域

本公开涉及计算机技术领域，具体地，涉及一种人脸关键点信息获取方法、生成人脸动画的方法及装置。

背景技术

语音识别与文本合成语音技术常应用于音频驱动的虚拟形象人脸动画生成，输入音频生成与音频流相符的目标人脸的人脸动画，从而完成该目标人脸的音频驱动。

目前，基于音频生成与音频流相符的目标人脸的人脸动画，需要先根据目标音频通过人脸关键点获取模型得到与目标音频对应的目标人脸的人脸关键点序列，然后根据人脸关键点序列和目标人脸的基准图像，生成目标人脸的动画。

进而，如何训练得到人脸关键点模型，成为基于音频生成与音频流相符的目标人脸的人脸动画的关键。

发明内容

提供该部分内容以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该部分内容并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种人脸关键点信息获取方法，所述方法包括：

获取对样本人脸同步录制的样本视频和样本音频；

确定所述样本视频的每一视频帧中的人脸关键点信息，以得到关键点信息序列，其中，所述人脸关键点信息包括不与发声联动的第一人脸关键点的信息；

确定所述样本音频的每一音频帧的音频频谱，以得到音频频谱序列；

将所述关键点信息序列和所述音频频谱序列作为神经网络模型的输入，并将关键点标注信息序列作为所述神经网络模型的目标输出，对所述神经网络模型进行训练，以得到人脸关键点获取模型，其中，所述关键点标注信息序列包括所述样本人脸对应于每一所述视频帧的人脸关键点标注信息，所述人脸关键点标注信息包括所述第一人脸关键点的标注信息和与发声联动的第二人脸关键点的标注信息；

利用所述人脸关键点获取模型获取人脸关键点信息。

第二方面，本公开提供一种生成人脸动画的方法，所述方法包括：

对获取的目标音频进行频谱转换，以得到目标音频频谱序列；

将所述目标音频频谱序列输入人脸关键点获取模型，以得到与所述目标音频对应的目标人脸关键点信息序列，其中，所述人脸关键点获取模型是根据如第一方面中任意一项所述的方法得到的；

根据所述目标人脸关键点信息序列和目标人脸的基准人脸图像，生成所述目标人脸的动画。

第三方面，本公开提供一种人脸关键点信息获取装置，所述装置包括：

第一获取模块，用于获取对样本人脸同步录制的样本视频和样本音频；

第一确定模块，用于确定所述样本视频的每一视频帧中的人脸关键点信息，以得到关键点信息序列，其中，所述人脸关键点信息包括不与发声联动的第一人脸关键点的信息；

第二确定模块，用于确定所述样本音频的每一音频帧的音频频谱，以得到音频频谱序列；