[发明专利]一种基于生成式对抗网络的多图像人脸对齐的方法及装置

说明书

本发明公开一种基于生成式对抗网络的多图像人脸对齐方法，包括输入多张真实人脸图像至生成器，生成器处理该图像，以生成拟合真实图像分布的合成图像；将真实人脸图像与合成图像输入判别器，以获得真实人脸图像的真实概率及合成图像的真实概率，迭代更新生成器和判别器的参数直至其收敛以确定由生成器和判别器构建的模型；将待对齐多人脸图像输入到所确定的模型中，通过一次前向传递运算得到对齐后人脸图像。本发明能够根据多张人脸图像生成一张清晰且对齐后的人脸图像，多人脸图像矩阵与对齐图像相减得到的噪声矩阵的稀疏程度反应了生成人脸图像与输入人脸图像对齐的程度，而生成式对抗网络记录了人脸的整体与细节特征。

技术领域

本发明涉及多图像人脸对齐技术领域，特别涉及一种基于生成式对抗网络的多图像人脸对齐的方法及装置。

背景技术

多图像人脸对齐技术，即对输入的多张人脸图像进行处理，产生使得所有输出人脸图像都有尽量一致的光照、遮挡、姿态等条件的技术。人脸对齐技术在视频监控、媒体处理、公安侦查等领域具有广泛的应用。譬如，在人脸识别系统中，通过对人脸图像进行对齐，使得人脸图像具有相同的姿态等其他条件，从而提高人脸识别的准确率。

现有的多图像人脸对齐技术主要有以下几类：

1)基于多图像相似度的人脸对齐方法[1]。通过最小化多图像上每个位置的像素点的熵之和，使得通过变换后的多张人脸拥有最小的熵，即最大的相似度，以此达到多图像人脸对齐的目的。

2)基于二维人脸特征点的人脸对齐方法[2][3]。首先估计出每张人脸图像中人脸的特征点(如内外眼角，鼻尖，嘴角等)的位置，根据待变换人脸图像的特征点以及目标姿态的人脸图像特征点计算变换矩阵，并用该变换矩阵对人脸图像进行变换。使得变换后的多张人脸图像中的人脸特征点都处于相同的位置。

3)基于三维模型的人脸对齐方法[4]。从人脸图像重构人脸的三维模型。然后根据三维空间来进行人脸对齐。

已有的多图像人脸对齐方法在效率及效果上都存在较多不足。传统的多图像人脸对齐方法需要对输入的多张图像进行迭代学习才能得到一个有效的对齐变换。当输入样本发生变化时，需要重新学习对应的对齐变换。而在对齐效果上，传统的对齐方法只能较好的处理二维变换的人脸对齐(如旋转、平移及缩放)，无法应对极端光照及遮挡条件与三维姿态变换的人脸对齐问题。基于二维特征点的对齐方法虽然从效率上解决了传统人脸对齐的不足，但通过样本学习得到的人脸特征点本身就是对人脸的真实特征点的有偏估计。特别是在极端条件下，特征点估计的准确度会大大降低，这导致了人脸对齐的效果较差。而基于三维人脸模型的方法则要求对同一个人有大量不同姿态下的输入图像，否则很难重构出精准的三维模型，同样会影响三维人脸对齐的效果。

参考文献：

[1]Learned-Miller E G.Data driven image models through continuousjoint alignment[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2006,28(2):236-250.

[2]Zhang K,Zhang Z,Li Z,et al.Joint face detection and alignmentusing multitask cascaded convolutional networks[J].IEEE Signal ProcessingLetters,2016,23(10):1499-1503.

[3]Kowalski M,Naruniec J,Trzcinski T.Deep Alignment Network:Aconvolutional neural network for robust face alignment[J].arXiv preprintarXiv:1706.01789,2017.