[发明专利]基于音频和图像驱动的用于生成人脸说话视频的训练方法

说明书

本发明公开了一种基于音频和图像驱动的用于生成人脸说话视频的训练方法。该方法包括：获取预设帧数的视频样本，并构建人脸说话视频生成模型；利用音频特征提取器对视频样本的音频进行特征提取，得到音频特征向量；利用图像编码器对视频样本进行投影处理，得到视频图像的扩展潜在向量；利用音频‑表情映射网络处理音频特征向量和扩展潜在向量，得到加权的扩展潜在向量；利用生成器处理加权的扩展潜在向量，得到生成视频。本发明同时还提供了一种基于音频和图像驱动的人类说话视频的生成方法。

技术领域

本发明涉及计算机视觉领域，特别涉及一种基于音频和图像驱动的用于生成人脸说话视频的训练方法以及基于音频和图像驱动的人脸说话视频生成方法。

背景技术

所谓人脸说话生成，是指根据输入的驱动信号（音频、图像、视频、文本等）来生成一个人的具有真实感的有声谈话视频。通常音频信号提供目标人物的说话风格及唇部运动信息，图像或视频信号提供目标人物的外观及运动学信息。人脸说话生成具有广泛的应用，如说话和特效制作，电话会议，游戏，社交媒体，VR和虚拟角色生成等。然而该任务具有极大的挑战。生成一系列高真实感的视频帧，需要考虑人脸面部表情的真实性，视频帧之间的时间连续性，唇部运动与语音的同步性等多方面因素，而且人们对面部动作和视听同步中的细微异常都很敏感。随着深度生成模型的快速发展，现有方法大多通过借助不同驱动信号的信息辅助生成中间目标身份人脸建模，通过深度渲染的方式获得生成视频。

然而，现有技术中，人脸说话生成方法存在目标人脸身份信息难以保持、生成的人脸细节表现力差、泛化能力弱等问题。

发明内容

鉴于上述问题，本发明提供了一种基于音频和图像驱动的用于生成人脸说话视频的训练方法及基于音频和图像驱动的人脸说话视频生成方法及系统，以期望能够至少解决上述问题之一。

根据本发明的第一个方面，提供了一种基于音频和图像驱动的用于生成人脸说话视频的训练方法，包括：

获取预设帧数的视频样本，并构建人脸说话视频生成模型，其中，人脸说话视频生成模型包括音频-表情映射网络、音频特征提取器、图像编码器和生成器，音频-表情映射网络包括音频编码器、潜在向量编码器、映射网络以及注意力模块；

利用音频特征提取器对视频样本的音频进行特征提取，得到音频特征向量；利用音频编码器将音频特征向量进行编码处理，得到编码后的音频特征向量；利用图像编码器对视频样本进行投影处理，得到视频图像的扩展潜在向量；利用潜在向量编码器计算视频图像的扩展潜在向量的位移，得到扩展潜在向量的位移原点；利用映射网络处理编码后的音频特征向量和扩展潜在向量的位移原点，得到扩展潜在向量的位移信息；利用注意力模块计算扩展潜在向量的位移信息的线性组合，得到加权的扩展潜在向量；利用生成器处理加权的扩展潜在向量，得到生成视频，其中，生成器基于StyleGAN2模型构建；

利用损失函数处理生成视频、与生成视频相对应的视频样本和扩展潜在向量，得到损失值，并根据损失值，优化人脸说话视频生成模型的参数；

迭代进行音频特征提取操作、音频编码操作、投影操作、位移原点获取操作、位移信息获取操作、加权的扩展潜在向量获取操作、生成视频获取操作以及优化操作，直到损失值满足预设条件，得到训练完成的人脸说话视频生成模型。

根据本发明的实施例，上述利用音频特征提取器对视频样本的音频进行特征提取，得到音频特征向量包括：

利用音频特征提取器分别获取距离视频样本的目标帧之前和之后第一预设时长的多个音频片段；

利用音频特征提取器的语音识别模型提取每个音频片段预设数量的逻辑单元，得到具有第二预设时长的多个逻辑单元，其中，任意两个逻辑单元所对应的音频互不重叠；

利用音频特征提取器将逻辑单元处理成第一预设维度的音频特征向量；