[发明专利]一种基于端到端循环网络的面部特征点定位方法

权利要求书

1.一种基于端到端循环网络的面部特征点定位方法，其特征在于，包括以下步骤：

(1)数据准备阶段

(1.1)对RGB图像集合中的每一张人脸进行人工面部特征点标注：将所有n个特征点标注记为Sg＝{Lg_1,Lg_2,…,Lg_n}，其中Lg_i＝(xg_i,yg_i)表示第i个面部特征点在图像中的坐标；

(1.2)将标注完成的图像集合通过人脸检测器以获得每一张图像中的人脸位置，位置信息为：左上角坐标(x_min,y_min)以及右下角坐标(x_max,y_max)；

然后利用左上角以及右下角坐标所形成的矩形区域裁剪出人脸图像，最终获得的N张人脸图像P及其对应的标注Sg，该N个样本组成的集合记为D＝{(P_1,Sg_1),(P_2,Sg_2),…,(P_N,Sg_N)}；

(2)模型设计阶段，端到端的模型设计如下：

(2.1)将整体模型记为M，由两部分组成，分别为深度卷积神经网络A和循环神经网络B，模型输入为人脸图像P，人脸图像边长为d；

(2.2)对输入的人脸图像P，利用深度卷积神经网络A进行特征点向量回归，回归目标为S0＝{L0_1,L0_2,…,L0_n}，其中L0_j＝(x0_j,y0_j)表示第j个面部特征点在图像上的坐标；

(2.3)取出网络A某个卷积层输出的深度特征图并记为F，其边长记为fd；

(2.4)继承步骤(2.3)中的深度特征图F并嵌入形状信息St＝{Lt_1,Lt_2,…,Lt_n}，第一次使用的形状信息为S0：以其中一个特征点Lt_i＝(xt_i,yt_i)为例，计算该特征点在特征图F处对应的坐标L’t_i＝(xt_i*fd/d,yt_i*fd/d)，然后在特征图F上以L’t_i为中心获取区域大小为k*k的特征块，并将L’t_1,L’t_2,…,L’t_m对应的m个特征块按列或按行拼接为一个新的特征图，称该新特征图为内嵌形状信息的深度特征SFt；

(2.5)将步骤(2.4)获得的内嵌形状信息的深度特征SFt输入到循环神经网络B以回归面部特征点更新量ΔSt＝{ΔLt_1,ΔLt_2,…,ΔLt_n}，其中ΔLt_i＝(Δxt_i,Δyt_i)表示第i个面部特征点的位置更新量，利用ΔSt对St进行更新优化并获得更加精准的面部特征点位置St+1＝St+ΔSt；

(2.6)重复步骤(2.4)、(2.5)T次以获得足够精准的面部特征点定位ST；

(2.7)将以上步骤统一到一个整体的端到端的深度神经网络框架中，进行端到端的模型训练；

(3)模型训练阶段

(3.1)将步骤(1.2)获得的带有面部特征点标注的人脸图像集合D分为训练集U和校验集V；

(3.2)将训练集U输入到步骤2设计的端到端的模型M中利用批次随机梯度下降方法进行模型训练，导出信号为特征点标注Sg＝{Lg_1,Lg_2,…,Lg_n}；利用校验集V验证模型训练效果，即当模型在校验集V上获得较好的面部特征点定位精度并且该精度不能随着训练过程再提升时，停止训练；

(3.3)最终训练完成获得模型M’；

(4)模型测试阶段

(4.1)输入图像为包含人脸的图像I；

(4.2)将图像I输入人脸检测器并获得人脸位置，并利用该人脸位置裁剪图像I获得人脸图像P；

(4.3)将人脸图像P输入步骤3.3获得的模型M’中以得到该人脸的面部特征点定位结果。

2.根据权利要求1所述的基于端到端循环网络的面部特征点定位方法，其特征在于：所述步骤(2.4)中内嵌形状信息的深度特征是通过继承神经网络特征层的特征并嵌入形状相关信息而得到。

3.根据权利要求1或2所述的基于端到端循环网络的面部特征点定位方法，其特征在于：所述内嵌形状信息的深度特征可以输入到循环神经网络进一步优化特征点定位结果。