[发明专利]一种基于StyleGAN的人脸图像修复方法

说明书

本申请公开了一种基于StyleGAN的人脸图像修复方法，步骤包括：将真实人脸图像分割为人脸区域和背景区域，作为训练集；对数据集进行数据增强，将原始图像设置为标签；利用训练集和标签对编码器进行训练，得到编码器网络；利用编码器网络分别提取真实人脸图像的隐码向量、待修复图像人脸区域的隐码向量、待修复图像背景区域的隐码特征图；将真实人脸图像的隐码向量与待修复图像人脸区域的隐码向量进行混合，得到混合人脸的隐码向量，将混合人脸的隐码向量与待修复图像背景区域的隐码特征图一同输入到StyleGAN生成器网络中，得到修复完成的人脸图像。本申请实现了人脸图像修复能力大幅提升，并且使得修复过程中很好地保证结构相似。

技术领域

本申请涉及计算机视觉的领域，尤其是涉一种基于StyleGAN的人脸图像修复方法。

背景技术

近年来，生成对抗网络(Generative Adversarial Networks)生成图像的质量有显著的提高，尤其是人脸图像，现有技术能够通过神经网络随机生成高质量的人脸图像。其中最先进的生成对抗网络StyleGAN，在高分辨率图像上获得最先进的视觉质量，此外，StyleGAN存在一个可以进行属性解纠缠的潜在空间W，通过在W空间随机采样，进而随机生成人脸图像。将真实图像嵌入到W空间中，即获得真实图像的隐码向量，再输入到StyleGAN的生成器网络中，便能够获得重建结果。现有研究发现，将真实图像嵌入到扩展的W+空间中，能够获得更精细的重建图像。将真实图像嵌入到W+空间的方法主要有两种，一种方法通过不断优化隐码向量，得到最佳的重建图像；另一种方法通过编码器的方法，一次前向传播获得隐码向量，从而得到重建结果。由于StyleGAN的生成器模型中包含了丰富的人脸图像信息，所以可以利用生成器中的人脸先验信息完成图像修复。同时StyleGAN是利用隐码向量进行控制生成内容，将隐码向量输入到StyleGAN生成器网络中的不同层，能够实现控制不同尺度的生成结果。

目前的人脸图像修复技术通常才用了预设的算法，重建后的结果与原始图像的差异较大，在修复过程中可能无法很好地保证结构相似，并且无法赋予真实皮肤的质感和光泽，导致整体效果不理想，对修复工作带来了不便。传统的修复方法依赖于待修复图像的边界信息与纹理特征，这些方法一般基于数学原理，生成信息的能力较差，鲁棒性与普适性较差。综上，人脸图像修复方法还有较大的提升空间。

发明内容

本申请实施例通过提供一种基于StyleGAN的人脸图像修复方法，解决了现有技术中重建后的结果与原始图像的差异较大，在修复过程中可能无法很好地保证结构相似的技术问题，实现了人脸图像修复能力大幅提升，并且使得修复过程中很好地保证结构相似。

本申请实施例提供了一种基于StyleGAN的人脸图像修复方法，包括以下步骤：将真实人脸图像分割为人脸区域和背景区域，并作为训练集；利用水平翻转对数据集进行数据增强，将原始图像设置为标签；利用所述训练集和所述标签对编码器进行训练，得到编码器网络；利用所述编码器网络分别提取真实人脸图像的隐码向量、待修复图像人脸区域的隐码向量、待修复图像背景区域的隐码特征图；将所述真实人脸图像的隐码向量与所述待修复图像人脸区域的隐码向量进行混合，得到混合人脸的隐码向量，将所述混合人脸的隐码向量与所述待修复图像背景区域的隐码特征图一同输入到StyleGAN生成器网络中，得到修复完成的人脸图像。

进一步地，利用所述训练集和所述标签对编码器进行训练，包括以下步骤：编码图像，将所述人脸区域和所述背景区域分为两个部分进行编码，其中，针对所述人脸区域，利用ResNet50与SE注意力模块结合的编码器结构，对输入人脸区域图像编码，得到人脸部分的隐码向量。针对所述背景区域，利用卷积神经网络对背景提取特征，得到背景部分的隐码特征图；重建图像，将所述人脸部分与背景部分的隐码向量输入到StyleGAN2生成器中，得到重建后的图像；编码器优化，根据标签图像与重建图像计算像素之间的L2距离、感知相似分数、人脸身份特征的L2距离，并对编码器网络进行优化，得到训练完成的编码器网络。

进一步地，使用ResNet50与SE注意力模块结合的编码器结构，提取人脸区域图像的隐码向量。