[发明专利]一种人脸特征点检测方法

权利要求书

1.一种人脸特征点检测方法，其特征在于，包括以下步骤：

步骤1、将原始人脸图像进行人脸检测定位与剪裁和三通道多特征图融合，得到三通道GEH模式图Picture_GEH；

步骤2、以三种特征图融合后的三通道GEH模式图作为卷积神经网络的输入，进行网络人脸特征提取，所述人脸特征包含：人脸特征点和三维姿态，所述特征点检测及姿态检测均以线性回归问题对应的最小二乘函数设计双任务损失函数；

步骤3、采用梯度反向传播算法对所述双任务损失函数进行网络训练，最终学习到人脸特征点检测权重和姿态检测权重，在测试过程，经过相同的人脸特征提取网络，以实现人脸特征点检测及人脸三维姿态的检测。

2.如权利要求1所述的人脸特征点检测方法，其特征在于，所述网络特征提取由3个卷积层和3个池化层，2个全连接层交替完成；

首先，将三通道GEH模式图Picture_GEH作为第一层卷积操作的输入输出特征图y_j的计算公式如以下公式所示：

$x_j^l=f(b_j+{\mathrm{\Σ}}_i{w}_{ij}*x_i^{l-1})$

其中，f表示卷积操作，l表示当前网络层数，i表示输入特征图的数量，j表示输出特征图的数量，w_ij为待求的卷积核参数，b_j是偏置参数，w_ij和b_j在实验开始时采用随机正态初始化的方式获取；

然后，根据卷积阶段得到的结果，将特征送入线性回归问题对应的函数，设计的双任务损失函数表达式如以下公式所示：

$\begin{array}{c}\underset{W^f,W^{Yaw},W^{Pitch},W^{Roll}}{\arg \min }\left\{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\right||l_i^f-{\left(W^f\right)}^T{x}_i|{|}^2+{\mathrm{\λ}}_{Yaw}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left|\right|l_i^{Yaw}-{\left(W^{Yaw}\right)}^T{x}_i|{|}^2\\ +{\mathrm{\λ}}_{Pitch}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left|\right|l_i^{Pitch}-{\left(W^{Pitch}\right)}^T{x}_i|{|}^2+{\mathrm{\λ}}_{Roll}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}||l_i^{Roll}-{\left(W^{Roll}\right)}^T{x}_i|{|}^2\}\end{array}$

其中，N表示训练图像数量，表示第i张图像特征点检测任务的标签值，分别表示人脸三维姿态检测对应的标签值，x_i表示卷积神经网络提取的第i张图像特征，W^f表示特征点检测任务权重，W^yaw,W^pitch,W^roll分别表示人脸三姿态检测任务对应的权重λ_Yaw,λ_Pitch,λ_Roll表示损失函数损失权；

通过反向传播算法进行网络训练，得到人脸特征点检测权重W^f和姿态检测权重W^yaw,W^pitch,W^roll；测试过程，经过相同的人脸特征提取网络，最终得到人脸特征点检测结果(W^f)^Tx_i，以及三维姿态检测结果(W^Yaw)^Tx_i,(W^Pitch)^Tx_i,(W^Roll)^Tx_i。

3.如权利要求1所述的人脸特征点检测方法，其特征在于，步骤1中将经人脸检测定位与剪裁后的人脸子图进行灰度处理，得到灰度特征图G；然后对人脸子图提取Hog特征，得到Hog特征图H；最后提取边缘特征，得到边缘特征图E；利用RGB(Red‐Green‐Blue)颜色空间作为基底，将上述特征图G(Gray)、特征图E(Edge)、特征图H(Hog)特征图变量分别映射到RGB直角坐标系颜色空间上，生成新型的GEH模式图像Picture_GEH，生成公式如下：

其中，代表灰度特征图Gray的灰度值映射到RGB中的R(Red)色彩空间，代表Hog特征图特征值映射到B(Blue)色彩空间，代表Edge特征图的特征值映射到G(Green)色彩空间。