[发明专利]一种基于自编码器和生成对抗网络修复人脸缺损图像的方法

权利要求书

1.一种基于自编码器和生成对抗网络修复人脸缺损图像的方法，该方法包括以下步骤：

1)获取人脸图像，将获得的人脸图像组成人脸数据集；

2)人脸数据集进行缺损处理：将人脸数据集中的每一张人脸图像进行图像的提取、归一化处理，在每一张人脸图像上随机生成遮挡块，每一张人脸图像对应获得一张缺损的人脸图像，缺损的人脸图像组成缺损人脸数据集；

3)训练自编码器：将人脸数据集和缺损人脸数据集输入自编码器，训练自编码器，自编码器对缺损人脸数据集中的每一张缺损的人脸图像进行初步修复；获得训练后的自编码器，同时获得初步修复人脸数据集；

4)训练生成对抗网络：生成对抗网络由生成器(G)、判别器(D)组成；在生成器(G)和判别器(D)的中输入人脸数据集中的完整的原始人脸图像，将初步修复人脸数据集输入到生成对抗网络的生成器(G)和判别器(D)中，生成对抗网络下的生成器(G)和判别器(D)根据人脸数据集中每一张人脸图像和对应的经过自编码器初步修复的人脸图像不断进行迭代训练，形成最佳状态的CGAN模型；

5)将待修复人脸图像输入训练后的自编码器，获得初步修复的待修复人脸图像；

6)将初步修复的待修复人脸图像输入CGAN模型的生成器(G)中，通过CGAN模型的修复，获得修复的人脸图像；

其中，步骤4)具体为：

401)在生成器(G)和判别器(D)的建模中均输入人脸数据集中的完整的原始人脸图像，人脸数据集中的人脸图像作为生成器(G)和判别器(D)共同的额外条件变量y，通过额外条件变量y作为额外输入层导入生成器(G)和判别器(D)来实现条件模型；

402)将经过自编码器初步修复的初步修复人脸图像f(x)输入到生成对抗网络的生成器(G)和判别器(D)中，生成对抗网络构建目标函数：

其中：x表示缺损图像，y表示人脸图像样本；z表示缺损图像在生成器中的生成结果；E表示误差；f(x)表示初步修复人脸图像；P_d表示判别器中的图样样本；P_z表示噪音图像样本；D(f(x),y)表示对于输入f(x)和y两个参数，判别器D判断正确的概率；G(f(x),z)表示对于输入参数f(x)和z，生成器生成的结果；D(f(x),G(f(x),z))：判别器对生成器生成结果判别正确的概率；z～p_z(z)表示噪声分布；

403)生成对抗网络下的生成器(G)和判别器(D)根据人脸数据集中每一张人脸图像和对应的初步修复人脸图像f(x)不断进行迭代训练，直到目标函数达到0.5；即得到CGAN模型；

在生成网络中，输入自编码器生成的预修复图作为先验分布p(z)，把符合先验分布p(z)的噪声z和条件y作为输入同时送进生成器，生成跨域向量，再通过非线性函数映射到数据空间，其中，把数据x和条件y作为输入同时送进判别器，生成跨域向量，并进一步判断x是真实训练数据的概率；其中h(x)表示自编码器生成的缺失区域预测图像。

2.根据权利要求1所述的方法，其特征在于：步骤1)中的人脸图像从现有公开数据集获取或者自己收集。

3.根据权利要求1所述的方法，其特征在于：步骤1)中的人脸图像从人脸数据集CelebA获取。

4.根据权利要求1所述的方法，其特征在于：步骤2)具体为：将人脸数据集中的每一张人脸图像进行图像的提取、归一化处理，在每一张人脸图像上随机生成遮挡块，其中遮挡块大小随机，遮挡块随机遮挡人脸图像中面部的某个部位，在人脸图像上形成遮挡区域，每一张人脸图像对应获得一张缺损的人脸图像，缺损的人脸图像组成缺损人脸数据集。

5.根据权利要求1所述的方法，其特征在于：步骤3)中自编码器采用AlexNet的前5层，外加一个全连接层，全连接层为前后层的神经元全连接，全连接层用于特征映射以及降维，并将AlexNet中的RELU改为ELU；解码器将自编码器编码的隐藏特征解释出来，推理整个人脸图像的内容，然后初步的修补缺损的人脸图像。