[发明专利]一种基于单个卷积神经网络的面部多特征点定位方法

权利要求书

1.一种基于单个卷积神经网络的面部多特征点定位方法，其特征在于，包括以下步骤：

步骤1、扩充训练样本；

步骤2、根据数据集提供的与每个样本对应的面部特征点坐标，确定人脸边框；

步骤3、采用缩放、旋转、平移和翻转四种操作来扩充数据，弥补训练图像特征点标注的不足；

步骤4、根据人脸边界框提取出人脸图像，并进行归一化处理；

步骤5、设计网络结构；

步骤6、训练网络，设置网络的学习率和每次处理数据的数量，完成面部多特征点的定位；

步骤2所述的根据数据集提供的与每个样本对应的面部特征点坐标，确定人脸边框，具体处理方式的伪代码如下：

输入：一张测试图片IMG；与该测试图像对应的面部特征点坐标(x_i,y_i)＝{(x₁,y₁),(x₂,y₂)···(x_m,y_m)}，i∈{1,...,m}，其中m为特征点的个数；

输出：该测试图片中的人脸边界框的坐标{(X₁,Y₁),(X₂,Y₂)}

1)X₁←min(x_i)

2)Y₁←min(y_i)

3)X₂←max(x_i)

4)Y₂←max(y_i)

5)End；

步骤5所述的设计网络结构，具体如下：

网络输入的是224×224×3的彩色脸部图像和相应的面部特征点坐标n，其中n是面部特征点总数的两倍；

网络层数分为八组：

第一组由第一卷积层(Conv1_1)和第一最大池化层(Pool1)组成；

第二组由第二卷积层(Conv2_1)和第二最大池化层(Pool2)组成；

第三组由堆叠的第三、四卷积层(Conv3_1、Conv3_2)和第三最大池化层(Pool3)组成；

第四组由堆叠的第五、六卷积层(Conv4_1、Conv4_2)和第四最大池化层(Pool4)组成；

第五组由堆叠的第七、八卷积层(Conv5_1、Conv5_2)和第五最大池化层(Pool5)组成；

第六组为第一个完全连接层(Fc6)，连接第五组中第五最大池化层(Pool5)的神经元，输出数量为4096；

第七组为第二个完全连接层(Fc7)，连接第一个完全连接层(Fc6)的神经元，输出数量为4096；

第八组为第三个完全连接层(Fc8)，连接输出数为n，n是面部特征点总数的两倍；

在卷积层中，卷积核的大小为3×3，设置步长为1，使得像素逐个滑动，边缘扩充设置为1，即宽度和高度都扩充了2个像素，卷积运算表示为：

y^j＝∑_ik^ij*xⁱ+b^j (1)

其中xⁱ和y^j分别是第i个输入图和第j个输出图，k^ij表示第i个输入图和第j个输出图之间的卷积核，b^j是第j个输出图的偏差，*表示卷积；

在池化层中，采用最大池化的方式，即对邻域内特征点取最大，最大池化表示为：

其中，第i个输入映射xⁱ中的每个h×h局部区域，被合并为第i个输出映射中的神经元；表示i个输出映射图中坐标为(j,k)的像素值，m,n分别表示局部区域内的x轴坐标与y轴坐标，设置池化核的大小为3×3，步长为2；

在每个卷积层之后添加非线性单元ReLU作为激活函数，在第一、二个完全连接层(Fc6、Fc7)增加Dropout操作，表达式如下：

r＝m_·*a(Wv) (3)

其中，v是n*1维列向量，W是d*n维的矩阵，m是个d*1的列向量，a(x)是一个满足a(0)＝0的激发函数形式，m和a(Wv)相乘是对应元素的相乘。