[发明专利]一种基于注意力机制的面部情感识别方法

说明书

本发明公开了一种基于注意力机制的面部情感识别方法，首先采集图像，并将图像分为训练样本集和测试样本集；然后读取训练样本集中每个样本图像原始情感标注值，并将训练样本集中每个样本图像送入多任务卷积神经网络中，得到输出特征；将预处理后得到的输出特征输入到残差注意力网络中得到注意力输出特征图；将输出特征图分别送入转换器Transformer和非局部神经网络中学习，从而得到输出特征；采用两阶段多任务学习网络训练一个分类器，从而可以将测试样本的深度特征通过分类器产生维度空间的情感状态值。本发明解决了现有的基于注意力机制的面部情感识别方法缺乏对特征图之间依赖关系和特征图内特征的空间位置依赖关系同时进行建模学习的问题。

技术领域

本发明属于模式识别技术领域，具体涉及一种基于注意力机制的面部情感识别方法。

背景技术

近些年随着社会的不断发展以及各方面对于快速有效的自动情感识别的迫切需要，生物特征识别技术在近十几年中得到了飞速的发展。在现实生活中，为了正常的社会交流和需求，人们之间需要进行必要的情感识别，以判断对方的情绪做出正确的行为回应。

早在1981年，Aaron Sloman就提出了关于人工智能情感的研究。1985年，人工智能的奠基人之一Marvin Minsky提出计算机和情感的问题。1995年，MIT媒体实验室的Rosalind W.Picard正式提出情感计算的概念，并于1997年在《情感计算》中定义“情感计算”为“与情感有关、由情感引发或者能够影响情感因素的计算”。

情感识别作为识别领域的重要分支之一，近些年一直是广大学者的重点研究对象。对于静态人脸图像，在传统的识别方法中，研究者通常人为地提取情感特征(例如基于Dlib的68特征点)，然后送入预先设计好的分类器进行分类(SVM、决策树、随机森林等)，得到最终的情感预测结果。然而，这种方法在实际操作中，需要利用丰厚的经验去人工地选择合适的情感特征，并且往往需要耗费大量的时间和精力。而且，不同的特征对最终的结果贡献度不同，传统的方法并没有对其进行很好的区分。

近些年，随着计算机能力的不断提升，深度学习被重新提出。因其强大的特征学习能力和高性能，逐渐取代传统的机器学习成为识别领域的主流方法。目前基于深度学习的情感分析方法中，大多方法会结合注意力机制对有效特征进行筛选，但缺少对特征图之间依赖关系的学习能力进行建模，以及特征图中空间位置特征之间依赖关系的考虑。并且，传统的方法针对不同的任务会训练不同的模型，没有利用到相关任务之间的相似性。

发明内容

本发明的目的是提供一种基于注意力机制的面部情感识别方法，解决了现有的基于注意力机制的面部情感识别方法缺乏对特征图之间依赖关系和特征图内特征的空间位置依赖关系同时进行建模学习的问题。

本发明所采用的技术方案是，基于注意力机制的面部情感识别方法，具体按照以下步骤实施：

步骤1、采集图像，并将图像分为训练样本集x_train和测试样本集x_test；

步骤2、读取训练样本集x_train中每个样本图像原始情感标注值，并将训练样本集x_train中每个样本图像送入多任务卷积神经网络MTCNN中，根据人脸检测和5个关键特征点，完成人脸对齐，得到输出特征x_input＝[x₁，x₂，...，x_n]；

步骤3、将预处理后得到的输出特征x_input输入到残差注意力网络中，然后通过主干分支提取不同感受野的特征M_i，c(x)、掩码分支学习注意力权重T_i，c(x)；最后，将主干分支的输出和掩码分支的输出进行点积运算，得到注意力输出特征图H_i，c(x)；