[发明专利]一种人脸特征点检测方法

说明书

技术领域

本发明属于计算机视觉领域，尤其涉及一种新型图像模式下以人脸三维姿态信息为辅助约束的人脸特征点检测方法，在人脸识别、人脸姿态表情分析及人脸合成中有着重要应用。

背景技术

近年来，随着深度学习的发展，卷积神经网络(Convolutional Neural Networks，CNN)在人脸特征点检测方面取得了很好的效果。CNN以人脸原始图像为输入，利用局部感受野策略获取的特征具有更好的表达能力；权值共享结构减少了权值的数量进而降低了网络模型的复杂度；同时，利用图像局部相关性原理对特征图进行的下采样在保留有用结构信息的同时有效地减少了数据的处理量，因此CNN被广泛应用于人脸图像的特征提取。

Yi Sun等人在2013年提出三级深度卷积神经网络级联的人脸特征点检测模型(Deep Convolutional Network Cascade，DCNN)。该网络的第一级以人脸图像的三块不同区域(全部人脸区域，眼睛与鼻子区域，鼻子与嘴唇区域)作为输入，分别训练三个卷积神经网络来预测特征点的位置，融合三个网络的预测值以得到更加稳定的初级特征点检测结果。第二、三级在每个特征点附近提取特征，针对每个特征点单独训练一个卷积神经网络来修正定位的结果，实现左眼中心、右眼中心、鼻尖、左嘴角、右嘴角五个特征点的检测。但该方法所得结果只是将眼睛、鼻子、嘴的位置粗略标定出来，并不能很好的将面部属性具体表示出来,同时网络模型也过于复杂。

同年Erijin Zhou等人提出检测68个人脸特征点的四级卷积神经网络级联模型。该模型考虑到人脸外部轮廓与内部五官特征点定位的复杂程度不同，分别进行检测。多特征点检测能够更加详细的表示出人脸的姿态及表情等属性。但该方法操作过程较为复杂，涉及到10种不同的网络分别进行训练。

Zhanpeng Zhang等人在2015年提出受辅助任务约束的深度卷积神经网络(Tasks-Constrained Deep Convolutional Network，TCDCN)。该模型在进行5个人脸特征点检测的同时，通过与面部属性相关的18个辅助任务作为约束，增强了网络提取特征的能力，有助于特征点检测精确度的提高。但该方法仅考虑了人脸姿态在水平维度偏转的情况，而在多数情况下其他维度姿态偏转情况对于特征点检测精确度也具有一定影响。

发明内容

本发明给出一种以多类特征图融合的新型三通道GEH(Gray-Edge-Hog)模式图像为输入，以三维姿态辅助任务为约束信息进行人脸特征点检测的方法。本发明考虑到人脸在姿态发生变化的同时，能够明显地看到图像轮廓结构的变化，因此人脸三维姿态信息对人脸全局特征点的标定都具有相当大的影响；同时因为人脸外部轮廓特征点与内部器官特征点检测的难易程度不同，将人脸提取的边缘信息作为一个图像模式变量，可降低外部轮廓点的检测难度；将人脸图像提取的Hog特征图作为一个图像模式变量，在清晰反映图像轮廓结构的同时，更有效地突出了人脸各器官区域特征，因此提出了一种以图像灰度值，边缘信息及Hog特征融合的新型GEH模式图像为输入，以面部三维姿态信息为辅助约束的，面部特征点与面部姿态联合训练的卷积神经网络结构模型，实现对人脸68个特征点进行精确定位。

为实现上述目的，本发明采用如下的技术方案：

一种人脸特征点检测方法包括以下步骤：

步骤1、将原始图像进行人脸检测定位与剪裁和三通道多特征图融合，得到三通道GEH模式图Picture_GEH；

步骤2、以三种特征图融合后的三通道GEH模式图作为卷积神经网络的输入，进行网络人脸特征提取，所述人脸特征包含：人脸特征点和三维姿态，所述特征点检测及姿态检测均以线性回归问题对应的最小二乘函数设计双任务损失函数；

步骤3、采用梯度反向传播算法对所述双任务损失函数进行网络训练，最终学习到人脸特征点检测权重和姿态检测权重，在测试过程，经过相同的人脸特征提取网络，以实现人脸特征点检测及人脸三维姿态的检测。

作为优选，所述网络特征提取由3个卷积层和3个池化层，2个全连接层交替完成；

首先，将三通道GEH模式图Picture_GEH作为第一层卷积操作的输入输出特征图y_j的计算公式如以下公式所示：