[发明专利]一种基于端到端循环网络的面部特征点定位方法

说明书

本发明公开了一种基于端到端循环网络的面部特征点定位方法，包括以下步骤：(1)数据准备阶段、(2)端到端的模型设计阶段、(3)模型训练阶段、(4)模型测试，以得到该人脸的面部特征点定位结果的阶段。本发明将内嵌形状信息的深度特征与循环神经网络配合使用，极大地提高了面部特征点定位的精度。此外，本发明使用继承的神经网络特征，模型计算量将会极大减少，在保持较好的面部特征定位精度的条件下，能够达到超实时的面部特征点定位速度。

技术领域

本发明涉及一种定位方法，尤其涉及一种基于端到端循环网络的面部特征点定位方法。

背景技术

面部特征点定位的主要目标是根据输入的人脸自动定位出面部的关键特征点，比如眼睛、鼻子、嘴巴以及面部轮廓等。该技术广泛应用于人脸识别、表情识别、人脸三维重建以及人脸动画合成等。目前的面部特征点定位方法大多基于深度神经网络框架。主要方法有：

1)基于级联结构或模块划分的由粗到精的面部特征点定位。相关专利：CN105981041A、CN105868769A。其主要技术手段为：利用多级模型级联并以粗到细的方式执行面部特征点定位，逐级精细化面部特征点的位置。问题和缺点：该类方法对大姿态人脸的面部特征点定位不鲁棒，级联或分模块的框架对初始面部特征点的给定较为敏感，一旦初始面部特征点位置离目标位置较远，最终特征点的定位将会离目标有较大偏差；其次，级联的框架在训练过程中比较容易进入较差的局部优化点而导致最终模型性能较差。

2)基于多角度的面部特征点定位方法。相关专利：CN105760836A。其主要技术手段为：将待检测图像输入人脸角度模型进行人脸角度检测，并调用相应角度的面部特征点定位模型进行面部特征点定位。问题和缺点：基于人脸角度的硬分类不一定是最合适面部特征点定位任务的分类方式，而且这种硬分类方法对处于类别边界的样本的面部特征点定位可能不鲁棒。

发明内容

为了解决上述问题中的不足之处，本发明提供了一种基于端到端循环网络的面部特征点定位方法。

为了解决以上技术问题，本发明采用的技术方案是：一种基于端到端循环网络的面部特征点定位方法，包括以下步骤：

(1)数据准备阶段

(1.1)对RGB图像集合中的每一张人脸进行人工面部特征点标注：将所有n个特征点标注记为Sg＝{Lg_1,Lg_2,…,Lg_n}，其中Lg_i＝(xg_i,yg_i)表示第i个面部特征点在图像中的坐标；

(1.2)将标注完成的图像集合通过人脸检测器以获得每一张图像中的人脸位置，位置信息为：左上角坐标(x_min,y_min)以及右下角坐标(x_max,y_max)；

然后利用左上角以及右下角坐标所形成的矩形区域裁剪出人脸图像，最终获得的N张人脸图像P及其对应的标注Sg，该N个样本组成的集合记为D＝{(P_1,Sg_1),(P_2,Sg_2),…,(P_N,Sg_N)}；

(2)模型设计阶段，端到端的模型设计如下：

(2.1)将整体模型记为M，由两部分组成，分别为深度卷积神经网络A和循环神经网络B，模型输入为人脸图像P，人脸图像边长为d；

(2.2)对输入的人脸图像P，利用深度卷积神经网络A进行特征点向量回归，回归目标为S0＝{L0_1,L0_2,…,L0_n}，其中L0_j＝(x0_j,y0_j)表示第j个面部特征点在图像上的坐标；

(2.3)取出网络A某个卷积层输出的深度特征图并记为F，其边长记为fd；