[发明专利]一种基于深度多特征融合级联回归的人脸关键点定位方法

说明书

本发明属于人脸识别技术领域，具体涉及一种基于深度多特征融合级联回归的人脸关键点定位方法，首先将深度网络的多层特征进行融合通过回归的方式来进行人脸关键点的初步定位，其次根据定位结果将其对应的人脸图像进行校正，同时计算初步定位结果的热力图，然后将校正后的图像和计算出的热力图再次输入到深度网络中进行人脸关键点修正，最后根据实际预测精度决定是否再次进行人脸关键点修正。本方法在复杂性及可操作性没有明显增加的情况下，相比单个深度网络进一步降低关键点定位误差。

技术领域

本发明属于人脸识别技术领域，具体涉及一种基于深度多特征融合级联回归的人脸关键点定位方法。

背景技术

计算机视觉技术是一种研究如何使用计算机及其相关设备，对生物视觉进行模拟的技术。通过摄像机等成像设备采集的图片或视频进行处理，获得相应场景的三维信息，由计算机代替大脑完成处理和理解。该技术涉及多个学科，包括图像处理、模式识别、图像分析和图像理解等。目前，广泛应用于各个领域，如医疗图像处理、视频监控、电子卡口、虚拟现实、智能交通等。

随着计算机视觉技术的发展，人脸识别技术已经广泛应用于很多电子系统，如门禁系统、卡口系统、电子护照、公安、银行自助系统、信息安全等。但是在实际的人脸识别过程中，由于人脸角度、姿态各异，因此需要先对检测到的人脸进行对齐，其实也就是人脸关键点定位。人脸关键点定位的目的是针对一张给定的人脸图像，通过一定的方法计算出其五官(眉毛、嘴、眼睛、鼻子和脸颊)的N个关键点坐标(x,y)，如图1显示了N(68)个人脸关键点的相对位置。

人脸关键点定位的准确与否直接影响接下来的人脸识别、比对等任务。因此，目前已经有一些专利专门用于人脸关键点定位，例如：现有技术1：深圳大学于仕琪(CN104899563A)，该专利的核心步骤为：首先，通过预设的人脸关键点定位方法将得到的二维人脸关键点坐标输入到事先建立好的关键点维度转换模型中；其次，将二维人脸关键点坐标转换为三维坐标，并将得到的三维坐标投影到二维人脸图像上得到估计坐标。最后，通过估计坐标与二维位置坐标计算人脸关键点定位误差，如果误差小于给定的阈值T，则将该估计坐标作为人脸关键点。

另外，现有技术2：旷视科技(CN103824049A)采用了一种基于级联神经网络的人脸关键点定位方法。该专利的核心是将人脸分为：内脸(包括：眉毛、嘴、眼睛、鼻子)和外脸(脸轮廓)。然后将内脸和外脸分别通过一个深度神经网络进行人脸关键点定位，最后再将内、外脸网络预测得到的人脸关键点进行合并。值得一提的是，在进行内脸关键点定位时，该技术又提取了内脸中的眉毛、嘴、眼睛和鼻子区域，并对其进行了角度矫正。

由于实际环境存在一定的复杂性，虽然上述现有技术1和现有技术2在一定程度上缓解了人脸关键点定位的效率和准确率问题，但仍存在一些不足之处。现有技术1人脸关键点定位的精度严重依赖所用的“预设人脸关键点定位方法”和“关键点维度转换模型”，况且对于复杂场景，这两种技术的鲁棒性严重下降；另外，虽然现有技术1将人脸分为多个子区域进行人脸关键点定位，但是由于其需要对每个子区域进行校正，因此复杂性也明显提高。除此之外，由于人脸每个区域存在一定的几何位置关系，该方案将人脸拆分单独进行关键点定位的方式不能很好的利用人脸不同区域的位置关系。

发明内容

本发明的目的是提出一种基于深度多特征融合级联回归的人脸关键点定位方法，旨在解决现有技术中复杂性及可操作性没有明显增加的情况下，相比单个深度网络关键点定位误差较大的问题。

本发明通过以下技术方案实现：

一种基于深度多特征融合级联回归的人脸关键点定位方法，包括步骤：

(1)将深度网络的多层特征进行融合通过回归的方式来进行人脸关键点的初步定位；

(2)根据初步定位结果对其对应的人脸图像进行校正，同时计算初步定位结果的热力图；

(3)将校正后的图像和计算出的热力图再次输入到深度网络中进行人脸关键点修正；