[发明专利]一种基于正投影特征变换的俯视人脸矫正方法

说明书

本发明公开了一种基于正投影特征变换的俯视人脸矫正方法，结合生成对抗网络(GAN)的思想，通过正投影特征变换(OFT)将俯视角度下的人脸转换成正脸。先利用OFT替代生成对抗网络中的生成器来生成假脸，为了将正脸分布的先验知识结合到训练过程中，再利用鉴别器来区分真实正面脸与合成正面脸，通过交替训练方式优化正投影特征变换网络的参数，使得最终产生更精确的正面人脸图像。本发明方法有效克服了现有多姿态人脸矫正方法对缺乏左右对称性可利用的俯角人脸效果差的局限，为公共视频监控环境下普遍存在的俯角人脸辨识提供了新的思路。

技术领域

本发明属于计算机视觉技术领域，涉及一种监控视频的俯视角度人脸矫正方法，具体涉及一种基于正投影特征变换的俯视角度人脸矫正方法。

技术背景

监控视频中的人脸识别是确认嫌疑目标身份的重要手段。由于公共视频监控场合的监控摄像头一般安装在高处(通常3.5米高)，当目标接近摄像头时，拍摄的往往是俯视角度的人脸。俯视人脸存在严重的额头遮挡人脸下半部的自遮挡现象，极端情况下甚至只能看到头部。因此，俯角人脸姿态给后续的人脸检测和识别等任务带来巨大障碍。

人脸姿态的矫正问题已经得到广泛研究，研究最多的是侧面脸的转正。目前表现最好的是基于生成对抗网络(GAN)的方法，如TP-GAN、DR-GAN等方法。侧面脸的校正通常利用了人脸的左右对称性，利用显现的半边脸来“猜测”遮挡的另一半。但是，俯角人脸的遮挡部分由于缺乏左右对称性的知识，比侧面脸的矫正更为困难，而直接照搬侧面姿态的人脸矫正方法效果又极其有限。

正投影特征变换(OFT)的方法能够将不同尺度的特征图，映射到3D空间中得到正交特征映射，再通过折叠体素特征产生正交平面特征，完成特征图像的度角转变。最后将正投影特征变换后的特征图像通过自顶向下网络，生成矫正后的正脸图片。利用这种原理，可以有效利用人脸深度信息、上半张脸信息及先验知识，生成更加自然的正面人脸图像。

发明内容

本发明结合侧脸矫正的GAN网络及正投影特征变换算法提出一个适合俯角人脸矫正的方法。将正投影特征变换引入生成对抗网络的生成器，对原始俯角人脸图像进行正交特征映射，合成正面脸图像；同时利用鉴别器来区分真实正面图像与合成正面图像，通过交替训练优化正投影特征变换网络。

本发明所采用的技术方案是：一种基于正投影特征变换的俯视人脸矫正方法，其特征在于，包括以下步骤：

步骤1：利用正投影特征变换网络对俯视人脸进行矫正，得到矫正后的正脸图像；

步骤1.1：将俯视角度下的人脸图像输入一个前端ResNet-18网络的特征提取器，提取多尺度特征图。

步骤1.2：对不同尺度的特征图进行正交特征变换，将俯视角度的人脸图像转换为平视角度下的人脸图像。

步骤1.3：通过由一系列ResNet单元组成的自顶向下网络，对正投影特征变换后的特征图进行处理，将网络最后一层的输出设置为3通道输出，生成RGB图像，即矫正后的正脸图片。

步骤2：将步骤1中的“矫正后的正脸图像”与真实正脸进行对抗训练，优化正投影特征变换网络，最终产生更精确的正面人脸图像；

步骤2.1：引入鉴别器D来区分真实正面图像与步骤1中的“矫正后的正脸图像”；

步骤2.2：利用步骤1中的“矫正后的正脸图像”和真实正面图像进行训练，设置合理阈值，若步骤1中的“矫正后的正脸图像”与真实图像的差大于阈值，则反向传播调节正投影特征变换网络参数；其中，参数包括ResNet单元的权重和偏置，调节方法采用深度学习的随机梯度下降方法；

步骤2.3：重复步骤2.2，迭代优化正投影特征变换网络的参数，直到训练过程收敛，获得优化正投影特征变换网络。

与现有的侧脸矫正方法相比，本发明具有以下的优点与积极效果：