[发明专利]一种双通道俯角人脸融合校正GAN网络及人脸融合校正方法

说明书

本发明公开了一种双通道俯角人脸融合校正GAN网络及人脸融合校正方法，本发明的GAN网络利用低分辨率正脸的全局结构和高分辨率俯角脸的局部纹理重建清晰的正面人脸，提高人脸识别系统的精度。建立的GAN网络包括超分辨率重建网络、姿态校正网络、头部姿态估计模块、人脸配准模块、人脸综合模块等主要功能模块。首先通过超分辨率重建网络将低分辨率正脸提升到高分辨率俯角脸同等分辨率，接着通过姿态校正网络完成高分辨率人脸的俯视姿态校正，然后使用光流配准方法实现二者的像素级对齐，最后将估计出的头部俯视角转换为融合权重，进行角度自适应的人脸合成。本发明能够精确地重建清晰的正面人脸，为监控视频人脸识别提供了新的思路。

技术领域

本发明属于人脸识别技术领域，涉及一种人脸融合校正网络及人脸融合校正方法，具体涉及一种双通道俯角人脸融合校正GAN网络(生成对抗网络)及人脸融合校正方法。

技术背景

公共视频监控场合下，由于摄像头悬高向下摄像，当目标抵近摄像头时拍摄的是俯视角度的人脸，此时的人脸图像具有比远距离正视角度的人脸更高的空间分辨率，但往往出现人脸上半部遮挡下半部的自遮挡现象，极端情况下甚至只能采集到额头部分的图像，从而给正常人脸识别带来挑战。多姿态人脸识别一直是人脸识别领域的研究难点和热点，学术界已经对侧面脸识别开展了大量研究，很大程度上利用了左右脸的对称性来“猜测”遮挡的部分，但俯视遮挡的人脸不具有侧面遮挡那种能利用的左右对称性，俯视人脸识别故而更为困难，学术界也鲜有专门针对俯视人脸校正或识别的研究。

目标由远及近接近监控摄像头时，存在一个人脸分辨率逐渐变大同时俯视角度也逐渐增大的过程。远距离人脸的分辨率尽管要低但摄像角度相对平视，这种存在于动态视频中远近视距、高低分辨率、正视俯视角度的耦合人脸对具有互补信息，有助于俯视脸的融合校正和识别。为此，本发明提出利用连续的动态视频中同一对象的远距离正面脸约束近距离俯角脸的校正和识别。

相对于传统方法，深度学习模型尤其是后期发展起来的生成对抗网络(GAN)已经在人脸合成和识别领域表现出明显的优势，本发明故而建立基于GAN框架的俯视人脸校正模型—双通道三元耦合样本对GAN网络，含双通道人脸融合GAN网络结构及三元耦合样本对训练方法。

深度学习网络对视角校正的泛化和适应能力严重依赖训练样本数据中视角的多样性和完备性。然而实际工作中采集的俯角人脸样本不可能完备覆盖到所有俯视角度，如果只是利用有限几种离散角度进行训练，很难满足使用时任意连续视角变化的要求；提高样本的完备性又面临巨大的成本代价。因此，设计GAN网络结构时，必须将视角变量考虑进去，使得构建的网络具有适应任意连续视角表达的能力，而不是依赖完备性的样本训练才获得这种能力。

发明内容

为了解决上述技术问题，本发明提供了一种双通道俯角人脸融合校正GAN网络及人脸融合校正方法。

本发明所采用的技术方案是：一种双通道俯角人脸融合校正GAN网络，包括超分辨率重建网络模块、姿态校正网络模块、头部姿态估计模块、人脸配准模块、人脸综合模块、判别器模块；

所述超分辨率重建网络模块，用于实现低分辨率正面人脸的超分辨率重建，将低分辨率正面人脸重建到高分辨率俯视人脸同等分辨率；

所述姿态校正网络模块，用于完成俯视姿态的校正；

所述头部姿态估计模块，用于实现头部欧拉角估计；

所述人脸配准模块，用于实现校正后人脸与放大的低分辨率人脸的对齐，便于二者的像素级叠加；

所述人脸综合模块，用于完成俯角自适应的高低分辨率人脸合成；

所述判别器模块，用于负责判别合成人脸与真实的正面高分辨率人脸的差异。

本发明还提供了一种双通道俯角人脸融合校正方法，包括以下步骤：