[发明专利]基于结合人脸属性信息的人脸识别方法

说明书

本发明公开了一种基于结合人脸属性信息的人脸识别方法，属于数字图像处理技术领域。本发明针对现有融合方式需要训练多个DCNN网络，然后进行分数融合或者特征融合进一步训练，工作任务繁重复杂，不利于实际应用的技术问题，公开了一种新的身份信息和属性信息融合的方式，以提升人脸识别正确率。本发明将人脸身份认证网络和属性识别网络进行融合形成一个融合网络，采用联合学习的方式同时学习身份特征和人脸属性特征，不仅提高了人脸识别的正确率，同时还可以预测人脸的属性特征，是一个多任务网络；并采用代价敏感的加权函数，使其不依赖于目标域数据分布，而实现在源数据域的平衡训练；且修改后的融合框架仅添加了少量参数，额外计算负荷比较小。

技术领域

本发明属于数字图像处理技术领域，具体涉及一种基于结合人脸属性信息的人脸识别方法。

背景技术

随着深度学习的迅速发展，人脸识别技术得到了突飞猛进地发展，许多应用人脸识别技术的产品应运而生。但是，目前的人脸识别技术还有许多局限，其中非常典型的问题有大幅度侧脸、光照等环境因素的影响，这些都会降低人脸识别系统的性能。许多研究者都在人脸姿态矫正、领域适应(domainadaption)等方面做了许多工作，虽然取得了许多成果，但还是处于探索阶段。经研究发现，在许多条件大幅度变化的情况下，许多人脸属性信息(如：性别，眉毛形状，鼻梁高度等)在识别上并没有受到很大的影响，依然能够准确识别。因此，可结合人脸属性信息提高人脸识别的正确率。

目前应用于人脸属性学习的多任务框架并不多。许多方式虽然思路简单，但任务非常繁重。例如：使用AdaBoost为每种属性选择独立的特征子空间和独立的SVM分类器来实现不同属性上的分类；或者为每种属性分别训练DCNN(深度卷积神经网络)然后训练独立的SVM分类器进行分类。工作任务非常复杂，而且实际利用价值比较低。Ethan M.Rudd等人提出了一种混合目标优化网络来学习人脸属性，将不同属性联合训练，大大减少了工作难度，也更容易实现。

在融合方面，许多工作者都尝试在人脸识别中加入属性信息来提高人脸识别的正确率。可是对于如何融合人脸属性信息和人脸身份鉴别信息目前并没有成熟算法。目前存在的融合方法大致分为两类：

(1)分数层面的融合，利用网络计算出来的相似性得分来进行简单加权融合，融合框架如图1所示，其通过分别训练身份识别网络和n(n＞2)种属性的n个属性识别网络，将输入图片经过DCNN(深度神经网络)提取特征，经全连接层Fc和softmax层输出相似性分数(标签相应概率值)，然后将所有的相似性分数相加形成新的身份相似性分数预测目标身份。

(2)特征层面的融合，其又可以分为聚合的方法和子空间学习的方法。聚合的方法是利用网络提取属性特征和身份鉴别特征，然后在特征层面进行简单连接或者限定这两种特征具有相同的维度，在进行元素求平均或者相乘。子空间学习的方法是将这两种特征串联起来，然后将串联后的特征映射到一个更合适的子空间，然后采用监督或者无监督学习的方法学习融合参数。无监督学习没有利用身份信息进行融合学习，相对地，监督学习使用了身份信息进行融合学习。特征层面的融合框架如图2所示，其与分数层面结构相似，分别训练一个身份识别网络和n个属性识别网络，然后将图片输入所有的网络，然后提取最后一个池化层pooling层的特征，将所有pooling层特征通过特征连接器融合到一起，然后将新的特征训练SVM或者其他分类器再进行预测输出。

上述两种方式法都需要训练多个DCNN网络，然后进行分数融合或者特征融合进一步训练，工作任务繁重复杂，不利于实际应用。

发明内容

本发明的发明目的在于：针对上述存在的问题，公开了一种新的身份信息和属性信息融合的方式，以提升人脸识别正确率。本发明将人脸身份认证网络和属性识别网络进行融合形成一个融合网络，采用联合学习的方式同时学习身份特征和人脸属性特征。

本发明的基于结合人脸属性信息的人脸识别方法，包括下列步骤：

构建融合网络模型：