[发明专利]一种三维虚拟形象唇形生成方法、装置及电子设备

说明书

本公开公开了一种三维虚拟形象唇形生成方法、装置及电子设备，该方法包括获取语音数据，根据语音数据得到表情参数和姿态参数，表情参数表示唇部的表情信息，姿态参数表示口型信息，根据表情参数和姿态参数生成三维虚拟形象唇形。通过本公开解决了现有技术中如何提升三维虚拟唇形生成的同步度、自然度的问题。

技术领域

本公开涉及动画制作技术领域，具体涉及一种三维虚拟形象唇形生成方法、装置及电子设备。

背景技术

视觉，听觉和文字是人与人或人与机器交互中的重要通道，这几种模式的信息有很强的相关性。近年来，跨模态学习和模态建模在计算机视觉，计算机图形学等研究领域受到广泛关注，然而利用文本生成面部三维属性的研究仍然较少。

三维虚拟形象的表情，唇形生成目前需要动画工程师使用专业动画制作软件如Unity3d，Maya等，并利用动画技术如blendshape，蒙皮骨骼动画等，根据需求逐帧手调参数。这种制作方法成本极高，并且不具备泛化性，每次提出新制作内容时，都需要动画师逐帧重新制作调整。

发明内容

有鉴于此，本公开实施例提供了一种三维虚拟形象唇形生成方法、装置及电子设备，以解决现有技术中如何提升三维虚拟唇形生成的同步度、自然度的问题。

为此，本公开实施例提供了如下技术方案：

本公开第一方面，提供了一种三维虚拟形象唇形生成方法，包括：

获取语音数据；

根据所述语音数据得到表情参数和姿态参数；其中，所述表情参数表示唇部的表情信息，所述姿态参数表示口型信息；

根据所述表情参数和所述姿态参数生成三维虚拟形象唇形。

可选地，根据所述语音数据得到表情参数和姿态参数包括：

所述语音数据经预训练的深度神经网络模型得到所述表情参数和所述姿态参数；其中，所述预训练的深度神经网络模型的训练包括：

获取音频数据样本以及与所述音频数据样本对应的视频数据样本；

根据所述视频数据样本得到3DMM参数；其中，所述3DMM参数为与所述视频数据样本对应的形状参数、表情参数和姿态参数，或者，所述3DMM参数为与所述视频数据样本对应的表情参数和姿态参数；

根据音频数据样本输入深度神经网络模型的输出，以及所述3DMM参数对深度神经网络模型进行训练，得到所述预训练的深度神经网络模型。

可选地，获取音频数据样本以及与所述音频数据样本对应的视频数据样本包括：获取人脸区域的音视频数据样本；对所述人脸区域的音视频数据样本进行音视频分离，得到所述音频数据样本和所述视频数据样本。

可选地，所述预训练的深度神经网络模型包括音频编码器和音频解码器；

其中，所述音频编码器包括卷积神经网络和循环神经网络；

所述音频解码器包括残差模块、注意力模块和全连接层。

可选地，根据音频数据样本输入深度神经网络模型的输出，以及所述3DMM参数对深度神经网络模型进行训练包括：

将音频数据样本输入至所述深度神经网络模型得到训练的3DMM参数的顶点信息；其中，所述训练的3DMM参数至少包括与所述音频数据样本对应的表情参数和姿态参数；

通过与所述音频数据样本对应的视频数据样本，得到真实的3DMM参数的顶点信息；其中，所述真实的3DMM参数至少包括与所述视频数据样本对应的表情参数和姿态参数；