[发明专利]基于联合学习身份和情感信息的面部表情识别方法

说明书

本发明公开了一种基于联合学习身份信息和情感信息的面部表情识别方法，包括人脸识别图像数据库和面部表情图像数据库，利用人脸识别图像数据库独立训练面部身份信息网络支路，训练完毕后将最后的全连接层去掉，通过神经网络可以提取得到输入图像的身份特征向量；利用面部表情图像数据库训练面部表情信息网络支路，完毕后把全连接层去掉，通过神经网络可以提取得到输入图像的情感特征向量；将身份特征向量和情感特征向量串联在一起得到串联面部特征表达；将融合身份信息和面部信息的串联面部表达特征馈送给全连接层，后续训练仅使用面部表情图像数据库对合并网络进行联合学习和优化。本发明提升面部表情识别方法对于受试者个体间自身差异的鲁棒性。

技术领域

本发明涉及计算机视觉和情感计算领域，更具体地，涉及一种基于联合学习身份信息和情感信息的面部表情识别方法。

背景技术

随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。人脸表情是最直接、最有效的情感识别模式。它有很多人机交互方面的应用。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。面部表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。

面部表情识别是一项旨在从静止图像或者视频序列中识别出人物面部表达出来的情感属性(例如中立，悲伤，蔑视，快乐，惊讶，愤怒，恐惧，厌恶等)的任务。虽然近年来有许多工作都集中在基于视频或图像序列的面部表情识别任务，但基于静止图像的面部表情识别仍然是一个具有挑战性的问题，本发明要处理的研究对象也是针对静止图像而言。

纵观整个面部表情识别的研究历史，它是跟随人脸识别的发展而发展的，人脸识别领域比较好的方法会同样适用于表情识别。早期的面部识别任务研究中，许多工作都是基于手工设计的特征进行的。这些方法通常包括前端的特征提取和后端的分类器训练两个分离的阶段。在特征提取阶段，人们利用专家先验知识设计了许多有用的特征，如局部二值模式，Gabor小波特征，尺度不变换特征和高斯脸等等。在此基础上，采用有监督的分类器，如支持向量机，前馈神经网络和超限学习机等进行后续建模。

近年来，随着深度学习技术的发展，基于深度神经网络的方法在面部相关识别任务中取得了优异的性能。在面部身份识别任务中，深度卷积神经网络(CovolutionalNeural Network,CNN)表现出了优于传统手工设计特征方法的性能。在面部表情识别中，CNN模型也已被广泛应用。但是，在面部表情识别任务中，缺乏大规模标记的训练数据，不一致和不可靠的情绪标签和主体间的可变性等因素都限制了CNN在面部表情识别任务上的表现，系统性能仍有进一步提升的空间。

在面部表情识别问题中，面临的比较大的挑战主要有两个。首先，一些面部表情之间的差异可能本身就很微妙，因此在某些情况下很难对它们进行准确分类。其次，由于受试者个体间的差异，如五官形状等等，不同的受试者可能会以不同的方式表达相同的特定面部表情。也就是说，即使是同一种面部表情属性，不同受试者个体之间表达出来的状态也可能是有较大差异的。

发明内容

针对上述技术问题，本发明的目的在于提供一种基于联合学习身份信息和情感信息的面部表情识别方法。本发明使用额外的人脸识别数据中的面部身份信息来辅助面部表情识别，从而提升面部表情识别方法对于受试者个体间自身差异的鲁棒性，并最终提升面部身份识别系统的性能。更具体地，通常面部表情识别数据库的数据量都非常少，同时面临着标注不可靠以及受试主体个体表达方式不一的挑战。本发明就是利用已有的海量人脸识别数据库中学习得到面部身份信息，以此融合情感信息进行联合优化，从而突破数据量较少带来的性能瓶颈，增强系统对于个体差异的鲁棒性。本发明在模型的训练过程中，能够有效地利用额外的人脸识别训练数据来进行身份和情感信息的联合学习。

为实现上述目的，本发明是根据以下技术方案实现的：