[发明专利]一种基于StyleGAN的人脸图像修复方法

权利要求书

1.一种基于StyleGAN的人脸图像修复方法，其特征在于，包括以下步骤：

将真实人脸图像分割为人脸区域和背景区域，并作为训练集；

利用水平翻转对数据集进行数据增强，将原始图像设置为标签；

利用所述训练集和所述标签对编码器进行训练，得到编码器网络；

利用所述编码器网络分别提取真实人脸图像的隐码向量、待修复图像人脸区域的隐码向量、待修复图像背景区域的隐码特征图；

将所述真实人脸图像的隐码向量与所述待修复图像人脸区域的隐码向量进行混合，得到混合人脸的隐码向量，将所述混合人脸的隐码向量与所述待修复图像背景区域的隐码特征图一同输入到StyleGAN生成器网络中，得到修复完成的人脸图像。

2.如权利要求1所述的一种基于StyleGAN的人脸图像修复方法，其特征在于，利用所述训练集和所述标签对编码器进行训练，包括以下步骤：

编码图像，将所述人脸区域和所述背景区域分为两个部分进行编码，其中，针对所述人脸区域，利用ResNet50与SE注意力模块结合的编码器结构，对输入人脸区域图像编码，得到人脸部分的隐码向量。针对所述背景区域，利用卷积神经网络对背景提取特征，得到背景部分的隐码特征图；

重建图像，将所述人脸部分与背景部分的隐码向量输入到StyleGAN2生成器中，得到重建后的图像；

编码器优化，根据标签图像与重建图像计算像素之间的L2距离、感知相似分数、人脸身份特征的L2距离，并对编码器网络进行优化，得到训练完成的编码器网络。

3.如权利要求2所述的一种基于StyleGAN的人脸图像修复方法，其特征在于，使用ResNet50与SE注意力模块结合的编码器结构，提取人脸区域图像的隐码向量。

4.如权利要求2所述的一种基于StyleGAN的人脸图像修复方法，其特征在于，人脸隐码向量的维度为18*512，背景隐码特征图的维度维度为512*64*64。

5.如权利要求2所述的一种基于StyleGAN的人脸图像修复方法，其特征在于，利用三种损失函数对编码器进行优化；其中，第一损失函数是根据像素值计算图像标签和生成图像之间的L2距离；第二损失函数是利用VGG16神经网络分别提取图像标签和生成图像的深层特征信息，计算二者深层特征信息之间L2距离；第三损失函数是利用人脸识别神经网络分别提取图像标签和生成图像之间的人脸特征信息，针对二者的人脸特征计算L2距离。

6.如权利要求1所述的一种基于StyleGAN的人脸图像修复方法，其特征在于，所述真实人脸图像的隐码向量与所述待修复图像人脸区域的隐码向量按照8:10的比例进行混合。