[发明专利]一种基于自注意力的耦合姿态人脸识别方法

说明书

本发明请求保护一种基于自注意力的耦合姿态人脸识别方法，属于模式识别技术领域。所述方法主要包括以下步骤：步骤1.利用MTCNN对训练图像进行预处理操作(人脸检测、特征点标定)；提出基于K‑means算法的姿态导向策略PGS，确定姿态模板。步骤2.输入网络的图像利用姿态模板生成多个不同姿态人脸，生成网络编码器对其进行特征编码，加权平均得到融合特征，解码器还原成正面人脸图像。步骤3.构建姿态导向的双判别器生成对抗网络PGDD‑GAN，对合成图像进行对抗式训练。步骤4.为了增强合成图像的局部纹理信息，本发明在编码器和判别器网络中植入自注意力模型。本发明降低了模型对源数据集的需求，提高了无监督环境下的人脸识别的鲁棒性。

技术领域

本发明属于计算机模式识别技术领域，特别涉及基于姿态不变的人脸识别方法。

背景技术

在现实生活中，如门禁系统、机场与海关入口等特殊场合，身份验证系统要求目标对象主动配合采集到正面人脸图像，可以取得较为理想的识别结果。然而，在现实场景中，大多数情况都是无法获得目标对象的主动配合，甚至是在目标对象毫不知情的情况下通过视频监视系统采集的，也就是说，一般都是在俯视、侧视、仰视等非理想的视角下采集的。在这些非理想的视角下，人仍然能够比较准确地识别人脸，保持相当高的识别绩效；但机器视觉却难以做到，而且在非理想视角下，光照度、眼镜等附加物、图像分辨率等因素对机器视觉识别绩效的影响尤为明显。因此积极深入开展姿态变化下的人脸识别关键问题的研究不仅具有重要的理论意义，更有宽广的应用前景。

一些研究人员一直在致力于解决姿态变化下的人脸识别问题，并且已经取得了一些研究成果。基于姿态不变特征学习方法的主要思想是：通过对不同姿态图像的特征提取，利用网络模块进行正面人脸恢复，将正面人脸保存为监督信息进行网络训练。其最具代表性的方法是深度神经网络DNN，此类方法从学习人脸身份保留特征着手，取得了好的识别结果，但是还存在一些缺点：由于模型的深层结构，网络有数百万个参数需要调整，因此需要大量的多姿态训练数据。相比姿态不变特征学习方法，基于人脸合成技术的方法在实际生活场景应用中更具有优势。人脸合成方法大致可以分为两类：基于2D人脸合成和基于3D人脸合成。基于2D人脸合成的方法试图通过非线性回归模型提取姿态鲁棒特征，使用局部扭曲策略合成正面姿态图像，此类方法的代表方法有：Stack-flow、解纠缠表示学习方法(Disentangled Representation Learning GAN for Pose-Invariant FaceRecognition,DR-GAN)、野外无监督人脸正则化姿态和表情识别方法(Unsupervised FaceNormalization with Extreme Pose and Expression in the Wild,FNM)等,此类方法合成的人脸图像存在模糊效应，失去了精细的面部纹理信息。基于3D人脸合成的方法通过评估人脸得深度信息变化将人脸图像归一化到统一姿态，代表得方法有：3D型变模型(3DMM)、野外大姿态人脸正面化(Towards Large-Pose Face Frontalization in the Wild,FF-GAN)。此类方法通常利用有限的信息，如密集的面部关键点坐标，来估计姿态和形状参数，而姿态和形状估计的误差会在后续的纹理映射和人脸合成操作中产生不良的伪影，对人脸识别产生不利影响。为了解决以上问题，本发明提供了一种基于自注意力的耦合姿态人脸识别方法。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于自注意力的耦合姿态人脸识别方法。本发明的技术方案如下：

一种基于自注意力的耦合姿态人脸识别方法，其包括以下步骤：

101、将训练数据图像输入到多任务卷积神经网络进行人脸检测和五个特征点标定，通过三维形变模型计算特征点对应的姿态偏航角，然后提出基于K-means算法的姿态导向策略PGS，对所有图像的姿态偏航角进行聚类处理，得到四个最优姿态偏航角，作用于三维型变模型，生成四个姿态模板；