[发明专利]基于级联多任务学习深度神经网络的人脸属性识别方法

说明书

基于级联多任务学习深度神经网络的人脸属性识别方法，涉及计算机视觉技术。首先设计级联的深度卷积神经网络，然后在级联的深度卷积神经网络里，对于每一个级联的子网络，采用多任务学习，同时学习人脸分类、边框回归、人脸关键点检测、人脸属性分析四个任务，接着在基于级联多任务学习的深度卷积神经网络里，采用一种动态损失权重机制，来计算人脸属性的损失权重，最终根据训练好的网络模型，将级联的最后一个子网络的人脸属性识别结果作为最终的人脸属性识别结果。使用级联的方法联合训练了三个不同的子网络，达到了端到端的训练，优化了人脸属性识别的结果，不同于在损失函数里使用固定的损失权重，本发明考虑到不同人脸属性间的差异性。

技术领域

本发明涉及计算机视觉技术，具体是涉及一种基于级联多任务学习深度神经网络的人脸 属性识别方法。

背景技术

在过去几年，人脸属性识别吸引了越来越多计算机视觉及模式识别领域的专家学者的关 注。人脸属性识别的目标在于，对于给定的人脸图片，能预测出其所包含的人脸属性，包括 微笑、性别、吸引力等。人脸属性识别有着广泛而实际的应用，包括人脸验证、图片查找以 及图片检索等。然而由于人脸视角、光照、表情等人脸表观的变化，进行人脸属性识别仍然 是一个极大的挑战。

当前，由于卷积神经网络的突出表现，很多人脸属性识别的工作采用卷积神经网络来预 测人脸属性。通常来说，基于卷积神经网络的人脸属性识别方法可以大致分为两类：基于单 标签学习的方法和基于多标签学习的方法。

基于单标签学习的方法，首先通过卷积神经网络提取人脸图片的特征，接着采用支持向 量机来对每个人脸属性分别进行预测。相反地，基于多标签学习的方法能同时预测多个人脸 属性。Liu等人(Z.Liu,P.Luo,X.Wang and X.Tang,“Deep learning faceattributes in the wild”,IEEE International Conference on Computer Vision,2015,pp.3730-3738.) 提出了一种基于深度学习的人脸属性识别方法，其为单标签的学习方法。

而Rudd等人(E.M.Rudd,M.Günther,T.E.Boult,“Moon:A mixed objectiveoptimization network for the recognition of facial attributes”,in Proceedingsof the European Conference on Computer Vision,2016,pp.19-35.)提出了一种混合目标 优化网络的方法用于人脸属性识别，其为多标签的学习方法。一般来说，上面这些方法通常 首先对输入的图像进行预处理(即进行人脸检测及人脸对齐)，接着再进行人脸属性分析。 换句话说，人脸分类、边框回归、人脸关键点检测、人脸属性识别这四个任务分别被独立地 进行训练。所以，这四个任务间隐含的关联性被忽略了。进一步来说，对于这些方法中的损 失函数，各个人脸属性所对应的损失权重是固定且相等的。因此，由于人脸属性间的差异性 没有被有效地利用，人脸属性识别的效果不能被优化。

发明内容

本发明的目的在于提供一种基于级联多任务学习深度神经网络的人脸属性识别方法。

本发明包括以下步骤：

1)准备训练样本集：N为训练样本数，box_k为人脸标注框的坐标向量长度，landmark_p为人脸关 键点的坐标向量长度，attr_q为人脸属性的总类别数，N、box_k、landmark_p、attr_q 为自然数；表示训练样本对应的固定大小的图像；表示训练样本是否属于人脸的类 别：

表示训练样本的人脸标注框的坐标；表示训练样本的人脸关键点的坐标；表示训练样本的人脸属性的类别：