[发明专利]一种基于单个卷积神经网络的面部多特征点定位方法

说明书

本发明公开了一种基于单个卷积神经网络的面部特征点定位方法，方法为：扩充训练样本；根据数据集提供的与每个样本对应的面部特征点坐标，确定人脸边框；采用缩放、旋转、平移和翻转四种操作来扩充数据，弥补训练图像特征点标注的不足；根据人脸边界框提取出人脸图像，并进行归一化处理；最后设计网络结构，训练网络，设置网络的学习率和每次处理数据的数量，完成面部多特征点的定位。本方法简化了网络结构，降低了训练难度，该网络结构可以提取更多的全局高级特征，更精确地表达面部特征点，在变化复杂的条件下对面部特征点的定位效果好，同时能实现面部多个特征点定位。

技术领域

本发明涉及生物识别领域，特别是一种基于单个卷积神经网络的面部多特征点定位方法。

背景技术

面部特征点定位是计算机视觉中的重要问题，因为许多视觉任务依赖于准确的面部特征点定位结果，比如面部识别，面部表情分析，面部动画等。虽然在这些年里被广泛研究，并且取得了巨大的成功。但是，由于部分遮挡、光照、较大的头部旋转和夸张的表情变化等因素导致人脸图像的复杂多样性，面部特征点定位仍然面临着巨大挑战。卷积神经网络已经被证明在提取特征和分类方面具有有效性，同时它也被证明针对遮挡具有鲁棒性。

面部特征点定位方法大致分为两类：传统方法和基于深度学习的方法。典型的传统方法包括基于模型的方法和基于回归的方法。基于模型的方法在给定平均初始形状的情况下学习形状增量。如主动形状模型(ASM)和主动外观模型(AAM)，采用统计模型如主成分分析(PCA)来分别捕获形状和外观变化。然而，他们并不能获得具有较大头部姿态变化和夸张的面部表情等人脸图像的精确形状，因为单一的线性模型很难刻画现实场景数据中的复杂非线性变化。基于回归的方法通过训练外观模型来预测关键点位置。Xiong等人通过在SIFT特征上应用线性回归来预测形状增量。Cao等人Burgos Artizzu等人使用像素强度差异作为特征顺序学习了一系列随机蕨回归，并逐步退化了学习级联的形状。他们对所有参数同时进行回归，从而有效地利用形状约束。这些方法主要从初始的估计迭代地修改预测的特征点位置，因此最终结果高度依赖于初始化。

到目前为止，只有几种基于深度学习的方法。Sun等人采用级联CNN进行面部特征点定位的新方法。这种方法将脸分为不同的部分，每个部分分别由卷积神经网络训练。最后，它实现了5个特征点的定位，即：左右眼睛、鼻尖，左右嘴角。然而，由于级联网络的复杂性，检测很慢；并且将人脸分成多个部分进行定位，忽略了人脸的整体性。Zhang等人训练一个多任务学习(辅助属性)的深层卷积网络TCDCN。每个任务对应人脸图像的一个属性，例如姿态，微笑，性别等，这使得特征点定位具有鲁棒性。结果表明，特征点定位的精度较高。然而，多任务学习对数据集的需求更高，并且不能重复复杂的训练。

显然，上述网络的结构和训练过程都非常复杂；其次现有的基于深度学习的方法大多是针对数目较少的特征点定位。当特征点的数目变多时，定位的准确性会变得愈加困难。

发明内容

本发明的目的在于提供一种基于单个卷积神经网络的面部多特征点定位方法，以精确地表达面部特征点，在变化复杂的条件下仍然能够对面部特征点进行高效定位，同时能实现面部多个特征点定位。

实现本发明目的的技术解决方案为：1、一种基于单个卷积神经网络的面部多特征点定位方法，其特征在于，包括以下步骤：

步骤1、扩充训练样本；

步骤2、根据数据集提供的与每个样本对应的面部特征点坐标，确定人脸边框；

步骤3、采用缩放、旋转、平移和翻转四种操作来扩充数据，弥补训练图像特征点标注的不足；

步骤4、根据人脸边界框提取出人脸图像，并进行归一化处理；

步骤5、设计网络结构；

步骤6、训练网络，设置网络的学习率和每次处理数据的数量，完成面部多特征点的定位。