[发明专利]基于条件生成对抗网络的端对端的侧面人脸合成正脸的系统及方法

说明书

本发明公开了一种基于条件生成对抗网络的端对端的人脸图像生成方法，该方法的具体步骤为：输入多张经过预处理的真实人脸图像至生成器，生成器对所输入的真实人脸图像进行编码、转码及解码处理，生成拟合真实图像分布的合成图像；将所得的真实图像分布的合成图像与原始输入的多张预处理后真实人脸图像输入到判别器，获得真实人脸图像的真实概率及合成图像的真实概率，迭代更新生成器和判别器的参数直至其收敛以确定由生成器和判别器构建的模型；将待合成的侧面姿态人脸图像输入到该模型中，通过一次前向传递得到生成的正面姿态人脸图像。该方法效率高,能够处理极端光照条件及多角度侧面姿态变换,无需估计人脸的三维模型或二维特征点。

技术领域

本发明属于图像处理技术领域,主要涉及一种基于条件生成对抗网络的端对端的侧面人脸合成正脸的系统及方法。

背景技术

近年来，人脸识别技术发展迅速，应用的领域也越来越广。在实际拍摄中会受外界因素(例如，噪声、光线、角度等)的影响，导致拍摄的人脸图像中存在大量质量较差，非正面姿态的人脸，这些都给人脸识别带来了很大的干扰，造成人脸识别效果不理想，例如，将图像中的A错误的识别为B。这些问题会给后续的工作带来极大的不便，因此，如何从图像中的侧面姿态的人脸图像生成清晰可分辨的高质量的正面姿态的人脸图像，并且保证获取的正面姿态的人脸图像与原侧面姿态的人脸图像中的人为同一人是亟需解决的问题。

发明内容

本发明的目的在于提供一种基于条件生成对抗网络的端对端的侧面人脸合成正脸的系统。

本发明的目的一之二在于提供基于条件生成对抗网络的端对端的侧面人脸合成正脸的方法，该方法通过一次运算便可得到正面姿态的人脸，效率高,能够处理极端光照条件及多角度侧面姿态变换,无需估计人脸的三维模型或二维特征点。当有左右两个侧面人脸图像时，可直接进行运算，若只有单侧人脸图像，可将图像水平翻转，近似视为另一侧的人脸图像。

为达到上述目的，本发明采用如下技术方案：

一种基于条件生成对抗网络的端对端的人脸图像生成的系统，该系统包括数据预处理、生成器、判别器，构成训练阶段系统和应用阶段系统，其特征在于所述的训练阶段系统由预处理模块(1)、生成器模块(2)、判别器模块(3)和损失模块(4)构成，正侧面人脸数据库中的数据经由预处理模块(1)侧面数据流向生成器模块(2),正面数据流向判别器模块(3),生成器模块(2)输出生成数据流向判别器模块(3)，判别器模块(3)输出判定输入数据为真实正面人脸的概率，将判别器模块(3)输出的真实正面人脸的概率、生成器模块(2)输出的生成数据和经预处理模块(1)处理过的正侧面数据输入损失模块(4)，模型未收敛则将生成器模块和判别器模块参数的梯度传递给生成器模块(2)和判别器模块(3)以更新模块参数，模型收敛则输出生成器模块(2)参数；所述的应用阶段系统由预处理模块(1)和生成器模块(2)构成，待合成的侧面人脸图像由预处理模块(1)流向生成器模块(2)，最终输出正面人脸图像。

上述的预处理模块(1)由剪裁模块(1-1)，缩放模块(1-2)两部分构成。正侧面人脸数据库给出的数据先由剪裁模块(1-1)进行中心剪裁，再由缩放模块(1-2)对数据大小进行缩放。

上述的生成器模块(2)由解码模块(2-1)，编码模块(2-2)，生成模块(2-3)三部分构成。经预处理模块(1)处理过的数据中的侧面数据，先经由解码模块(2-1)进行解码，再分别流向编码模块(2-2)和生成模块(2-3)输出生成数据。

上述的判别器模块(3)由卷积模块(3-1)，全连接模块(3-2)构成。经预处理模块(1)处理过的数据中的侧面数据和生成器模块(2)输出的生成数据依次流入卷积模块(3-1)和全连接模块(3-2)，输出判别器模块(3)的输入数据为真实正面人脸的概率。