[发明专利]一种基于深度多特征融合级联回归的人脸关键点定位方法

权利要求书

1.一种基于深度多特征融合级联回归的人脸关键点定位方法，其特征在于，包括步骤：

(1)将深度网络的多层特征进行融合通过回归的方式来进行人脸关键点的初步定位；

(2)根据初步定位结果对其对应的人脸图像进行校正，同时计算初步定位结果的热力图；

(3)将校正后的图像和计算出的热力图合并后再次输入到深度网络中进行人脸关键点修正；

(4)根据实际预测精度决定是否再次进行人脸关键点修正；

所述步骤(1)中的初步定位包括步骤：

Step 1：准备训练网络所用的数据集；

Step 2：构建深度网络模型，并利用预训练好的网络模型进行权重初始化；

Step 3：人脸关键点初步定位，网络初始化完成后利用Step 1中准备好的数据进行深度网络训练，一直到网络收敛为止；

其中所述的Step 1中，训练数据格式为(Xi，Yi)，其中Xi表示图像，Yi表示Xi对应的关键点集合，i＝1,2,…,M，M为训练图像数量；

所述的步骤(2)中包括步骤：

Step 4：人脸图像校正；所述的Step 4中，首先，通过Step 3得到人脸关键点的初步位置然后，通过相似性变换计算与标准脸Y_S之间的相似性变换矩阵T_i，进而可以得到校正后的人脸图像T_i(X_i)；

所述的步骤(2)中包括步骤：

Step 5：人脸关键点热力图计算；所述的Step 5中，首先计算所对应的校正后的人脸关键点然后通过下式计算所对应的热力图：

其中，

Ti：第i级的关键点校正矩阵，

Yi：第i级检测出的关键点，

对i级检测出的关键点进行校正后得到的关键点，

P：对第i级检测出的关键点进行校正后得到的关键点，

Pxy：图像的所有坐标点，

α：热力图数值调整系数，

β：热力图数值调整系数，

λ：热力图数值调整系数，

r：阈值，其值为图像的宽度。

2.根据权利要求1所述的基于深度多特征融合级联回归的人脸关键点定位方法，其特征在于，在所述的Step 1中采用的数据集为人脸关键点定位领域的数据集300W比赛数据集。

3.根据权利要求1所述的基于深度多特征融合级联回归的人脸关键点定位方法，其特征在于，在所述的Step 3中，运用的监督函数是正则化后的欧氏损失，如下式所示：

其中，Y_ij分别表示第i张图像的第j个预测及真实人脸关键点，d_i表示第i张图像中两眼的瞳孔距离，N表示关键点个数。

4.根据权利要求1所述的基于深度多特征融合级联回归的人脸关键点定位方法，其特征在于，标准脸Y_S取所有训练数据集的平均值。

5.根据权利要求1所述的基于深度多特征融合级联回归的人脸关键点定位方法，其特征在于，所述的步骤(3)中包括：

Step 6：将Step 4和Step 5得到的校正后图像及关键点热力图合并后，再次返回执行Step2和Step3进行人脸关键点修正。

6.根据权利要求1所述的基于深度多特征融合级联回归的人脸关键点定位方法，其特征在于，所述的步骤(4)中包括：

Setp 7：如果训练误差Error小于给定的阈值Threshod，则训练结束；否则继续重复Step 6直到训练误差小于给定阈值为止。