[发明专利]一种基于自编码器和生成对抗网络修复人脸缺损图像的方法

说明书

本发明提供一种基于自编码器和生成对抗网络联合优化的人脸缺损图像还原的方法，结合自编码器和生成对抗网络，包括以下步骤：(1)进行人脸数据集缺损预处理(2)将处理好的数据集训练自编码器，使其达到最佳；(3)将处理好的数据集训练条件生成对抗网络，使其达到最佳(4)将需复原的缺损图像输入训练好的编码器，生成预修补的人脸图像；(5)将预修补图像输入条件生成对抗网络，即可生成更清晰自然的还原人脸图。该方法提高了缺损人脸区域还原的清晰度，以及缺失内容生成的逼真度，最大限度避免了缺损区域边缘的伪像，限制了缺失区域的生成方向，产生了更清晰和更自然的还原效果。

技术领域

本发明涉及一种人脸缺损图像修复的方法，具体涉及一种基于自编码器和生成对抗网络修复人脸缺损图像的方法，属于图像处理技术领域。

背景技术

人脸识别技术近年来得到了显著的发展。但是，识别有部分遮挡的人脸对于现存的人脸识别技术依旧是个挑战。真实应用中，对于有遮挡的图像修复的需求越来越多，如监控和安全领域。图像复原作为一种常见的图像编辑操作，旨在用合理的内容填充图像中的缺失或蒙版区域。生成的内容既可以与原始内容一样精确，也可以完全符合整体图像，使得复原的图像看上去是真实的。这在过去的几十年里，由于其固有的模糊性和自然图像的复杂性，图像复原(图像填充)，一直是计算机视觉和图形界具有挑战性的研究热点。

在早期也有很多种图像处理方案如：利用扩散方程将已知区域的低层特征沿着蒙版边界迭代传播到未知区域。还有通过引入纹理合成来进一步改善修补效果。最近Ren等提出了利用卷积网络进行修补的方法。提非参数纹理合成的高效补丁匹配算法显著提高了图像复原的性能，其在找到类似补丁时表现良好，但当源图像中没有足够数据填充未知区域时，效果则不佳。这通常发生在对象复原中，因为每个部分都可能是唯一的，并且找不到可找到的缺失区域。虽然这个问题可以通过使用外部数据库来缓解，但随之而来的问题是需要学习一个特定对象类的补丁匹配。

在图像生成方面，Goodfellow在2014年提出了生成对抗网络，Li和Dziugaite等在2015年提出了生成矩匹配网络。这些方法是直接训练生成器以产生逼真的样本，在一定程度上忽略了数据的多样性。在2016和2017年，生成对抗性网络框架先后被多次扩展。

自动编码器(AutoEncoder)和变分自动编码器(VAEs)已经成为在无监督环境下学习复杂分布的最流行的方法之一。AutoEncoder包括两个过程：encode和decode，输入图片通过encode进行处理，得到code，再经过decode处理得到输出，encode和decode两个过程可以理解成互为反函数，在encode过程不断降维，在decode过程提高维度。当AutoEncoder过程中用卷积操作提取特征，相当于encode过程为一个深度卷积神经网络，好多层的卷积池化，那么decode过程就需要进行反卷积和反池化。

生成对抗网络(GAN)是训练生成参数模型的框架，并且已被证明可以产生高质量的图像。GAN是一种训练生成器的方法，包括两个互相对抗的模型：一个生成器G用于拟合样本数据分布和一个判别器D用于估计输入样本是来自于真实的训练数据还是生成器G。生成器通过映射函数把噪声映射到数据空间，而判别器的输出是一个标量，表示数据来自真实训练数据而非G的生成数据的概率。训练模型D要最大概率地分对真实样本(最大化log(D(x))，而生成器G要最小化log(1-D(x))，即最大化D的损失。GAN框架下的学习过程就变成了一种生成器G和判别器D之间的竞争关系。最终判别器的准确率等于50％，整个模型状态达到纳什均衡。然而，GAN不能直接应用于修补任务，因为它们产生完全不相关的图像的概率很高，除非受到相关限制。

基于传统方法的图像复原和修复主要分为两个方向：基于图像纹理分析技术和基于局部插值的图像修复方法。然而这两类方法都具有一定的局限性，基于传统纹理分析技术的图像去噪方法，其模型设计复杂，速度慢，效率低，容易带来图像细节模糊问题。而基于局部插值的图像修复方法，未使用到图像的全局信息，容易带来图像不平滑问题。对于缺损区域比较大的场景，效果较差。