[发明专利]一种基于生成式对抗网络的人脸表情编辑方法

说明书

本发明公开了一种基于生成式对抗网络的人脸表情编辑方法，其整体步骤为：数据准备阶段，对人脸图像进行人工标注并裁剪出来；模型设计阶段，由生成器和判别器生成模型；模型训练阶段，将真实带标注的人脸图片和生成器生成的图片输入判别器，训练并使得判别器用来区分真实样本和生成样本的分布，学习人脸表情分布以及人脸身份信息的分布；再将待编辑人脸图片和表情控制向量输入生成器，输出由表情控制向量控制的人脸图片；然后对训练好的判别器做真实训练；重复上述步骤，完成模型的构建；输入图像对构建好的模型进行测试。本发明可以保证生成器生成更加接近真实人脸图片分布，更好地保持人脸身份信息，表情编辑更加有效的人脸图片。

技术领域

本发明涉及一种编辑方法，尤其涉及一种基于生成式对抗网络的人脸表情编辑方法，属于计算机视觉技术领域。

背景技术

人脸表情编辑要求在保持人脸身份信息的同时控制照片中人脸的表情，该技术在人脸动画、社交软件、人脸识别数据集增广等领域都具有广泛应用。目前的人脸表情编辑方法都是基于三维人脸可形变模型，代表方法有：专利号为201310451508.9的一种基于单摄像头与运动捕捉数据的人脸表情编辑方法，其主要技术手段为：利用用户的照片生成用户的三维人脸模型，同时将三维人脸模型解耦，分离出身份和表情；再通过控制人脸表情分量，合成新的人脸三维模型，实现人脸表情编辑。该法存在的问题和缺陷为：只适用于编辑三维人脸模型的表情，不适用于二维人脸图片表情编辑。因为当人脸表情变化时，不仅仅是人脸形状发生变化，人脸表面纹理也会发生变化。因此，基于三维人脸模型的人脸表情编辑方法难以实现人脸纹理的修改。

发明内容

为了解决上述技术所存在的不足之处，本发明提供了一种基于生成式对抗网络的人脸表情编辑方法。

为了解决以上技术问题，本发明采用的技术方案是：一种基于生成式对抗网络的人脸表情编辑方法，其整体步骤为：

步骤S1、数据准备阶段

a、对RGB图像集合中的每一张人脸进行人工标注，标注出人脸身份信息和人脸表情信息；每张图片的标注信息用[i，j]表示，i代表该图片属于第i个人，j代表该图片属于第j种表情；

b、通过人脸检测器和人脸特征点检测器将标注完成的图像集合中的人脸从图片上裁剪出来，并做人脸对齐；

步骤S2、模型设计阶段

a、模型由两部分组成，分别为生成器G和判别器D；其中，生成器G用于根据输入的待编辑人脸图片和表情控制向量，生成表情控制向量控制的人脸图片；判别器D用于根据生成器G生成的图片以及真实带标注的人脸图片，区分真实样本和生成样本的分布，并学习人脸表情分布以及人脸身份信息的分布；

b、利用上述生成器G和判别器D组成基于生成式对抗网络的人脸表情编辑的框架，从而进行对抗训练；

步骤S3、模型训练阶段

a、将真实带标注的人脸图片和生成器G生成的图片输入判别器D，训练并使得判别器D用来区分真实样本和生成样本的分布，学习人脸表情分布以及人脸身份信息的分布；其中，生成器G生成的图片被标记为假[0]，真实带标注的人脸图片被标记为真[1，i，j]；

b、将待编辑人脸图片img0[i，j]和表情控制向量y输入生成器G，输出由表情控制向量控制的人脸图片。再将生成器G输出的图片假[0]，输入判别器D，使得判别器将其判别为真[1]、人脸身份信息i以及人脸表情信息j，保证生成器G生成更加真实、身份信息保持更好、表情控制更加有效的人脸图片；

c、每重复3次步骤a，然后重复1次步骤b，使判别器D训练得更好；判别器D训练得越好，越有利于生成器G的训练；

d、每个epoch保存一次模型参数，并且在测试集合上进行人脸表情编辑，观察生成器G的输出图片效果；当生成器G生成满足要求的人脸图片时，停止模型训练；同时，保存人脸图片生成视觉效果最好的模型参数；