[发明专利]一种基于身份约束的生成对抗网络人脸校正方法及系统

说明书

本发明公开了一种基于身份约束的生成对抗网络人脸校正方法及系统，构造并训练基于身份约束的生成对抗网络。该网络包括生成器、判别器和人脸特征提取网络；生成器包括编码器、角度姿态分类模块、身份约束识别模块和解码器。设计角度姿态分类模块和身份约束识别模块，分别得到姿态编码特征和身份编码特征，并引入特征损失函数来约束侧脸的身份编码特征逼近其正脸的身份编码特征。通过给侧脸编码特征添加身份约束，并实现侧脸编码特征中身份信息和姿态信息的解耦，使得侧脸身份编码特征通过解码器能够生成保持身份一致性的正脸图像。

技术领域

本发明属于图像生成技术领域，具体涉及一种基于身份约束的生成对抗网络人脸校正方法及系统。

背景技术

人脸识别本质上是一种识别不合作对象的被动生物识别技术，现实无约束环境中由于姿态变化、光照、表情和遮挡等因素极大的降低了人脸识别的精度。尽管由于深度卷积神经网络能够对图像特征进行很强的表示，事实证明以上存在的一系列问题对人脸识别的最终性能存在很大影响，尤其是当姿态存在较大的变化时，特别是当人脸偏转角接近90°时，此时人脸识别的准确率迅速下降。人脸校正再识别目前能够较好的提升在大角度姿态下的人脸识别准确率。人脸校正再识别的一般流程为给一张侧脸图像，通过一个模型生成其对应身份的正脸图像，然后再与人脸底库中的正脸图像进行验证比对。

借助于生成对抗网络强大的生成能力，衍生出了一系列基于生成对抗网络进行人脸校正的方法。此类方法的一般流程为输入侧脸图像至生成器中，目标输出为尽可能逼真同时保持身份信息的正脸图像。以往基于生成对抗网络进行人脸校正的一般流程为侧脸图像通过生成器中的编码器得到编码特征，然后通过解码器生成正脸图像，通过对生成的正脸图像进行图像判别和身份判别，来保证生成器生成尽可能逼真同时保持身份信息一致性的正脸图像，但是在侧脸图像生成正脸图像的过程当中并没有添加身份信息约束，并不能较好的保证生成的正脸图像与真实正脸图像的一致性。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于身份约束的生成对抗网络人脸校正方法及系统，借鉴多任务学习的思想，分别设计角度姿态分类模块和身份约束识别模块嵌入至编码器后，分别得到姿态编码特征和身份编码特征，生成器不仅输入不同偏转角的侧脸图像，同时输入正脸图像，目标是生成自身正脸图像，来获取正脸的身份编码特征，然后引入特征损失函数来约束侧脸的身份编码特征逼近其正脸的身份编码特征，通过给编码特征添加身份约束，并实现侧脸编码特征中身份信息和姿态信息的解耦，使得侧脸身份编码特征通过解码器能够生成保持身份一致性的正脸图像。

本发明采用以下技术方案：

一种基于身份约束的生成对抗网络人脸校正方法，包括以下步骤：

S1、构建不同偏转角下成对的侧脸图像I_p和正脸图像I_f图像对作为训练集；

S2、构造基于身份约束的生成对抗网络并使用步骤S1中成对的侧脸I_p和正脸I_f图像对进行训练，生成对抗网络包括生成器网络G、判别器网络D和人脸特征提取网络B；

S3、将侧脸图像输入步骤S2完成训练的生成对抗网络的生成器G中，生成正脸图像用于人脸校正。

具体的，步骤S1中，侧脸图像I_p的偏转角由-90°以15°为间隔变化至+90°，共包含13种人脸偏转角，将偏转角为0°的人脸图像作为正脸图像I_f。