[发明专利]一种基于生成对抗的实时人脸表情迁移方法

说明书

本发明提供一种基于生成对抗的表情迁移方法，该方法的任务是将驱动人物的表情迁移至源人物面部，并且保持源人物的身份不变。该方法分为两个阶段，第一阶段中，在目标表情特征点的驱动下，使用生成对抗的思想生成粗略的带有驱动人物表情和源人物身份的人脸图像。第二阶段中，利用高通滤波器在图像频域中进行处理，得到包含人脸纹理细节的高频分量，再对该分量进行反傅里叶变换得到纹理图。根据光流场得到扭曲的纹理图，将该纹理图与粗略人物图像组合成最终的图像。本发明提出的纹理增强方法克服了现有技术存在的生成图像模糊或皮肤纹理细节损失等问题，有利于合成真实的细粒度图像。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于生成对抗的实时人脸表情迁移方法。

背景技术

人脸表情迁移是指将给定的驱动人脸图片的表情迁移到源人脸，新合成的人脸图像保持源图像的身份信息不变，但是其表情与驱动人脸一致。这项技术在远程呈现方面具有广泛应用，包括视频会议、虚拟游戏，以及影视特效领域。因此，人脸表情迁移方法在学术界和工业界均有着重要的研究价值。

传统的人脸表情合成方法通常采用计算机图形学方法或对人脸进行显式三维建模。图形学方法是将源人脸图像参数化，利用预估的光流来扭曲人脸图像，但是这种方法实现繁琐，而且生成效果不够自然逼真，尤其在人物大幅动作的情况下表现较差。在基于三维建模的方法中，驱动人脸和目标人脸的3DMM参数从单个图像中计算出来，并最终混合，通过这种方法生成的效果自然，但是会损失一些人物细节特征。

近年来，随着深度学习的迅速发展，图像生成领域涌现出大量的基于深度神经网络的人脸表情合成方法，这类方法首先利用卷积神经网络提取人脸特征，将图像从高维空间映射到低维空间，由此将目标人脸图像编码为仅包含身份信息的特征向量，然后结合输入的特定表情的特征点，利用深度神经网络合成目标人脸图像。虽然这类方法是有效的，但它们需要成对图像或大量视频的数据集，这可能很难获得，而且生成的图像中有关皮肤纹理等细节过于模糊。

发明内容

本发明的目的是为了解决上述背景技术存在的不足，提供一种基于生成对抗的实时人脸表情迁移方法。本发明主要包括两个阶段：第一阶段为表情迁移阶段，该阶段利用生成对抗的思想生成粗略的带有目标表情和源人物身份的人脸图像。第二阶段为纹理增强阶段，该阶段利用傅里叶变换以及高通滤波器得到纹理细节，并对第一阶段的图像进行细化。本发明方法克服了现有技术存在的生成图像模糊或皮肤纹理细节损失问题。

为了实现上述目的，本发明所采用的技术方案为：基于生成对抗的实时人脸表情迁移方法，该方法分为两个阶段，第一阶段为表情迁移阶段，在目标表情特征点的驱动下，使用生成对抗的思想生成粗略的带有目标表情和源人物身份的人脸图像；第二阶段为纹理增强阶段，利用高通滤波器在图像频域中进行处理，得到包含人脸纹理细节的高频分量，再对该分量进行反傅里叶变换得到纹理图，根据光流场得到扭曲的纹理图，将该扭曲的纹理图与平滑后的粗略人物图像组合成最终表情迁移后的图像并合成最终图片。

进一步的，表情迁移阶段的具体实现方式如下：

步骤一，对数据集中的每一帧图像进行数据预处理工作；

步骤二，构建生成网络，对预处理后的图像中的身份信息和表情信息进行特征编码，生成身份特征向量和表情特征向量：

所述生成网络由五个子网络构成：一个身份编码器Encoder_id、一个表情编码器Encoder_ex、一个生成器G、一个姿态表情判别器D和一个人脸识别分类器I；

步骤三，利用身份特征向量和表情特征向量来生成粗略的人脸图像。

进一步的，步骤一中预处理的过程如下；

使用ffmpeg工具将数据集中的视频分解为图片序列，使用Dlib库对每一帧图片提取人脸若干个特征点，并连接各点绘制landmarks图像，以人脸中鼻尖特征点为中心，将图片裁剪至标准大小；