[发明专利]一种基于对抗学习的人脸图像合成方法和装置

权利要求书

1.一种基于对抗学习的人脸图像合成方法，其特征在于，包括以下步骤：

将遮挡的人脸图像输入生成器，通过所述生成器合成正面人脸图像并补全缺失的人脸部分；

将所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像输入全局判别器，通过所述全局判别器区分整张人脸图像的真实性，同时保持人的身份信息不变；所述全局判别器的网络结构为：在所述生成器的编码器的网络结构基础上，在最后增加一层全连接层来判断图像的真假和人的身份信息；如果全局判别器将所述生成器合成的正面人脸图像分类到真图，则对所述生成器合成的正面人脸图像中人的身份进行分类；如果全局判别器将所述生成器合成的正面人脸图像分类到假图，则不对所述生成器合成的正面人脸图像中人的身份进行分类；

将所述生成器合成的正面人脸图像的遮挡区域和数据库中真实的正面人脸图像对应遮挡区域的部分输入局部判别器，通过所述局部判别器区分人脸图像中遮挡区域的真实性；

将所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像输入人脸语义分割网络，通过所述人脸语义分割网络强化生成的图像中人脸五官的一致性；

将所述全局判别器、所述局部判别器和所述人脸语义分割网络的梯度反传到所述生成器，以对所述生成器进行训练，最终通过所述生成器合成标准光照下的正面的无遮挡的人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述生成器包含编码器和解码器；所述编码器首先从输入人脸图像中提取一个身份特征表达，然后将该身份特征表达与一个噪声向量串联来增加生成图像的多样性，最后将合并的向量送入解码器来合成最终的正面人脸图像，并标记其中对应遮挡位置的区域。

3.根据权利要求2所述的方法，其特征在于，所述生成器中的编码器由五个卷积模块组成，解码器由五个反卷积模块组成；所述卷积模块中的各层依次为：输入层、卷积层、批标准化层、ELU层、卷积层、批标准化层、ELU层、卷积层、批标准化层、ELU层、输出层；所述反卷积模块中的各层依次为：输入层、反卷积层、批标准化层、ELU层、反卷积层、批标准化层、ELU层、反卷积层、批标准化层、ELU层、输出层。

4.根据权利要求2或3所述的方法，其特征在于，定义一个结构化的L1损失函数作为所述生成器的损失函数，所述结构化的L1损失函数在人脸关键部位的像素上设置更大的权重，以重建出高质量的人脸五官。

5.根据权利要求4所述的方法，其特征在于，由所述人脸关键部位的像素位置组成掩膜M，所述结构化的L1损失函数定义如下：

L_struct＝|I^GT-I^F|+α|M⊙I^GT-M⊙I^F|

其中，|·|表示L1损失，⊙表示哈达玛积，I^GT代表目标正面人脸图像，α是用来平衡人脸关键部位像素之间权重的系数，I^F表示生成器合成的正面人脸图像。

6.根据权利要求4所述的方法，其特征在于，所述人脸关键部位包括眉毛、眼睛、鼻子、嘴巴和牙齿。

7.根据权利要求1所述的方法，其特征在于，所述局部判别器比所述全局判别器少一个卷积模块。

8.根据权利要求1所述的方法，其特征在于，所述人脸语义分割网络包含一个编码器和一个解码器，所述编码器包含五个卷积模块，所述解码器包含五个反卷积模块；卷积模块和反卷积模块中的卷积层使用大小为3*3、步长为1的卷积核；卷积模块和反卷积模块中的卷积层后面都接有非线性激活函数ReLU；每个卷积模块的末尾都使用最大池化层，每个反卷积模块的开始都使用双线性上采样层。

9.一种基于对抗学习的人脸图像合成装置，其特征在于，包括生成器、全局判别器、局部判别器和人脸语义分割网络；

所述生成器根据输入的遮挡的人脸图像合成正面人脸图像并补全缺失的人脸部分；

所述全局判别器的输入为所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像，用于区分整张人脸图像的真实性，同时保持人的身份信息不变；所述全局判别器的网络结构为：在所述生成器的编码器的网络结构基础上，在最后增加一层全连接层来判断图像的真假和人的身份信息；如果全局判别器将所述生成器合成的正面人脸图像分类到真图，则对所述生成器合成的正面人脸图像中人的身份进行分类；如果全局判别器将所述生成器合成的正面人脸图像分类到假图，则不对所述生成器合成的正面人脸图像中人的身份进行分类；

所述局部判别器的输入为所述生成器合成的正面人脸图像的遮挡区域和数据库中真实的正面人脸图像对应遮挡区域的部分，用于区分人脸图像中遮挡区域的真实性；

所述人脸语义分割网络的输入为所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像，用于强化生成的图像中人脸五官的一致性；

所述全局判别器、所述局部判别器和所述人脸语义分割网络的梯度反传到所述生成器，以对所述生成器进行训练，最终所述生成器合成标准光照下的正面的无遮挡的人脸图像。