[发明专利]一种基于深度学习的多任务级联人脸对齐方法

说明书

技术领域

本发明涉及一种基于深度学习的多任务级联人脸对齐方法。

背景技术

人脸对齐应用的领域非常广泛：一、人脸识别，关键点预测是人脸识别中的一个极其重要的环节，人脸对齐的鲁棒性直接关系人脸识别的精度；二、人脸器官定位、器官跟踪。通过人脸对齐，我们能够定位到人脸的每个部件，提取相应的部件特征做后续的开发；三、表情识别。通过人脸对齐后，我们能够利用对齐后的人脸形状分析人脸的表情状态；四、人脸漫画/素描图像生成。通过人脸对齐后，我们能够进行人脸漫画和素描生成；五、虚拟现实和增强现实。通过人脸对齐后，我们能够做出很多好玩的应用；六、人脸老化、年轻化、年龄推断。特征融合/图像增强。通过人脸对齐后，我们能够有效提取人脸特征，并分析人脸年龄、人脸老化等；七、性别鉴别。通过人脸对齐，能够对人脸进行性别识别，男女之间的人脸形状有一定的差异性；八、3D卡通。通过人脸对齐能够进行3D卡通模拟。因此提高人脸对齐的鲁棒性具有重大的意义。

现有人脸对齐方法对人脸表情、姿态、遮挡和性别的鲁棒性不高。因此,我们需要设计一种高效率的、高准确率的人脸对齐方法。

发明内容

为了克服现有技术的上述缺点，本发明提出了一种基于深度学习的多任务级联人脸对齐方法。

本发明解决其技术问题所采用的技术方案是：一种基于深度学习的多任务级联人脸对齐方法，包括如下步骤：

步骤一、样本采集：标记人脸的关键点和人脸的属性标签；

步骤二、样本预处理：对人脸图像进行灰度化和归一化处理；

步骤三、采用卷积神经网络进行人脸对齐模型训练，其中：主线网络包括8层卷积层、4层归一化层、4层激活层、4层池化层以及一层全连接层，结构是每两层卷积层之后是归一化层、激活层和池化层，以此类推；前三层归一化和最后一层全连接层之后分别由全连接层作为支线网络进行预测，分别预测出人脸的关键点和人脸的属性；

步骤四、实时输出人脸的关键点和人脸的属性。

与现有技术相比，本发明的积极效果是：在模型的训练过程中加入了性别、是否笑、是否带眼睛、姿态等辅助信息实现了多任务学习，在网络的每两层都有预测输出，实现了由粗到精的级联人脸关键点定位检测。本发明通过基于深度学习的多任务级联训练模型实现了一种高效率和高精度的人脸对齐方法，提高了人脸对齐对人脸表情、姿态、性别和遮挡的鲁棒性。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是人脸对齐训练流程图；

图2是人脸关键点原始图；

图3是人脸轮廓关键点；

图4是人脸五官主要关键点；

图5是人脸五官其余关键点；

图6是人脸对齐预测流程图；

图7是人脸对齐模型结构图。

具体实施方式

一种基于深度学习的多任务级联人脸对齐方法，如图1所示，包括如下步骤：

步骤一、样本采集

(1)人工标记人脸的关键点，如图2所示；

(2)标记人脸属性标签：

性别标签：男性为0，女性为1；是否笑标签：笑为1，不笑为0；是否戴眼镜标签：戴眼镜为1，否则为0；姿态标签：Roll、Pitch、Yaw都为-90至90的范围。人脸姿态为三维空间的右手笛卡尔坐标。pitch是围绕X轴旋转，也叫做俯仰角。yaw是围绕Y轴旋转，也叫偏航角。roll是围绕Z轴旋转，也叫翻滚角。

步骤二、样本预处理

(1)人脸图像灰度化，并做归一化处理：

人脸图像采用灰度图像，并且对图像做归一化处理，即减去图像自身的均值且除以图像自身的标准差。

(2)人脸关键点拆分并做归一化处理：

1)人脸关键点拆分：

将人脸关键点拆分为三个部分：人脸轮廓关键点、人脸五官主要关键点、人脸五官外的其余关键点。拆分效果图如图3、图4、图5所示。

2)人脸关键点归一化处理：截取人脸图像部分，重新确定关键点的坐标，将这些坐标的x和y分别除以人脸图像的宽和高。

步骤三、人脸对齐模型训练：用于训练人脸对齐模型。

人脸对齐模型网络结构图如图7所示。