[发明专利]基于堆叠沙漏网络的关键特征区域匹配人脸识别方法

说明书

本发明涉及计算机视觉识别技术领域，提出一种基于堆叠沙漏网络的关键特征区域匹配人脸识别方法，包括以下步骤：采集训练集，并进行预处理；对输入人脸图片进行预处理；将图片输入堆叠沙漏网络中进行特征提取，输出人脸关键点热图和关键点位置信息；对原图片进行关键区域裁剪，并从训练集中选取三元组；将关键区域进行特征提取，得到特征图F；将特征图F输入嵌入层中得到标签E；根据特征图的L2范数计算三元损失函数，重复上述步骤至三元损失函数收敛；将待识别的人脸图片输入完成训练的堆叠沙漏网络和人脸识别模块中，输出识别的标签E。本发明引入堆叠沙漏网络进行人脸识别，排除非关键区域的影响，有效提高人脸识别效果，具有较强的鲁棒性。

技术领域

本发明涉及计算机视觉识别技术领域，更具体地，涉及一种基于堆叠沙漏网络的关键特征区域匹配人脸识别方法。

背景技术

近年随着深度卷积神经网络的提出，人们将其运用到人脸识别任务上，并取得良好效果，这很大一部分归功于深度卷积神经网络能够提取到具有鲁棒性的特征。

在人脸关键点检测领域，有相关科研人员提出利用堆叠沙漏网络进行人脸关键点定位，该方法首先对输入的人脸图片进行校正，然后经过堆叠沙漏网络提取多尺度且具有辨别力的特征，最后对关键点进行回归定位。现有技术中，有大量算法都是基于上述堆叠沙漏网络进行改进，但目前仍存在的一个具有挑战性问题是对于不同光照、不同姿态、不同表情下，现有技术中已有的算法对人脸图片输入均不具有很强的鲁棒性。

发明内容

本发明为克服上述现有技术所述的对输入的人脸图片不具备很强鲁棒性等至少一种缺陷，提供一种基于堆叠沙漏网络的关键特征区域匹配人脸识别方法，该方法对输入的人脸图片具有更强的鲁棒性，能更精确地提取人脸关键点信息。

为解决上述技术问题，本发明的技术方案如下：

S1：采集人脸图片作为训练集，并对训练集的图片进行预处理；

S2：将训练集的任意一张人脸图片输入堆叠沙漏网络中进行特征提取，输出人脸关键点热图和关键点位置信息；

S3：根据所述关键点位置信息对原输入人脸图片进行区域裁剪得到关键区域，并从训练集中随机选出一张图片作为A组，再分别随机选出与A组图片属同一标签的样本图片作为P组，与A组图片不同标签的样本图片作为N组，组成三元组；

S4：将关键区域和三元组输入人脸识别模块中的卷积神经网络进行特征提取，得到特征图F；

S5：对特征图F求取L2范数，然后通过人脸识别模块中的嵌入层，输出完成识别的人脸图片的标签E；

S6：根据L2范数计算三元损失函数，通过梯度下降法对三元损失函数进行优化；

S7：重复S2～S6至三元损失函数收敛，完成堆叠沙漏网络和人脸识别模块的训练；

S8：将待识别的人脸图片输入堆叠沙漏网络中进行特征提取，裁剪图片的关键区域，然后输入卷积神经网络中进行特征提取，最后通过嵌入层输出识别的人脸图片标签。

本技术方案中，采用堆叠沙漏网络输入人脸图片进行人脸关键点定位，精确地提取关键点信息，再输入人脸识别模块中生成更具身份信息的特征，从而进行人脸识别。使用堆叠沙漏网络与单独使用一个沙漏结构网络相比，堆叠沙漏网络能够复用脸部信息来提高各个关键点的精度，在人脸识别过程中，可根据关键点的位置预测其他关键点的位置。如确认了人脸图片中的人脸位置信息后，可预测鼻子等其他五官的位置，因此可通过堆叠沙漏网络利用关键点之间的相互关系，能够进一步提升人脸识别的精度。同时，在对关键区域的特征提取之前，对关键区域进行裁剪，能够进一步对关键区域进行限制，去除非关键区域的信息干扰，有效提高鲁棒性。