[发明专利]基于注意力调制上下文空间信息的表情识别方法

说明书

本发明公开了一种基于注意力调制上下文空间信息的表情识别方法，具体步骤为：S1：获取待训练的自然场景人脸表情图像公共数据集，对人脸表情图像进行预处理；S2：构建用于自然场景人脸表情识别的注意力调制上下文空间信息网络模型；S3：利用预处理过的人脸表情图像对上下文空间信息(ACSI)网络模型进行训练；S4：重复步骤S3的模型训练，直至达到设定的训练次数，得到训练后的深度残差网络模型，利用训练后的深度残差网络模型进行人脸表情识别。上下文卷积和协调注意力的联合可以显著提高表情识别性能。在公开的表情数据集上，与同类的算法相比，ACSI具有更高的识别性能。

技术领域

本发明涉及表情自动识别技术领域，涉及一种表情识别算法，具体涉及一种基于注意力调制上下文空间信息的表情识别方法。

背景技术

面部表情具有丰富的特征信息，人脸表情识别在人机交互、心理健康评估等方面得到了广泛的应用。传统的表情识别方法可以分为两类，一类是基于面部动作单元(ActionUnit,AU)的表情识别方法，通常将人脸表情识别(Facial Expression Recognition,FER)任务转化为AU检测任务，AU是与表情相关的微小但可辨别的肌肉动作，然而使用该方法难以检测人脸的局部变化，而且光照或姿势变化等因素也会降低AU检测的性能；另一类是通过人工设计特征来表征人脸图像并训练表情分类器来实现表情识别。然而，在自然场景中，受不可控因素的影响，基于人工设计特征的人脸表情识别方法性能有限。近年来，基于深度学习的人脸表情识别成为研究的热点，相关工作已经从受控的实验室场景转向自然场景，并取得了一定的进展。卷积神经网络(Convolutional Neural Network,CNN)是表情识别的主流模型，CNN在表情识别任务中具有很强的泛化性。其后出现了各种改进方法。在这些方法中，一方面，为了解决表情特征不完备的问题，Zhao Z等人设计了一种对称结构来学习残差块中的多尺度特征，在粒度级别上保留人脸表情信息；Li Y等人提出了滑动块(Slide-Patch,SP)，在每个特征图上进行窗口滑动，提取面部表情的全局特征；Fan X等人提出了一种分层尺度卷积神经网络(Hierarchical Scale Net,HSNet)用于人脸表情识别，其中添加了膨胀起始块来增强核尺度信息提取。Liang X等人采用双分支网络进行表情识别，其中一个分支利用CNN捕捉局部边缘信息，另一个分支应用视觉Transformer来获得更好的全局表示；毛君宇等人提出使用大小不同的卷积核组成金字塔卷积单元提取表情特征，提高模型的非线性表达能力。然而，上述方法通过增加辅助网络层或采用分支结构的方式来改善所提取表情特征的完备性，另一方面，为了解决表情类间分类边界模糊的问题，Xie S等人提出了一个名为显著表情区域描述(Salient Expressional Region Descriptor,SERD)的模块，突出与表情相关的显著特征，提高特征表征能力；Gera D等人提出一种新的空间通道注意网络(Spatio-Channel Attention Net,SCAN)获得每个通道及每个空间位置的局部和全局注意，在空间和通道维度上处理表情特征，而不是直接进行特征降维压缩；Wang Z等人采用类似于U-Net的体系结构设计了一个注意力分支，用于突出细微的局部表情信息。宋玉琴等在提取多尺度特征之后使用CBAM注意力机制对表情特征进行筛选，提升有效表情特征的表达。上述方法通过增加网络辅助层或使用分支结构的方式来提取更细微的深层人脸表情特征，从而使模型性能得到提升。然而，这些方法忽略了人脸局部区域间潜在的上下文关系，而且复杂的网络结构不利于模型轻量化。

中国专利文献(申请号：202010537198.2)公开了一种基于深度残差网络的人脸表情识别方法，首先通过深度残差网络模型对放大的人脸表情图像进行多尺度特征提取，然后对提取的特征进行降维压缩处理，将处理后的特征用于表情分类。该方法存在三个缺陷：①在残差网络中使用具有固定感受野的标准卷积核，无法获取广泛的人脸表情信息；②通过降维压缩特征方案去除冗余信息的同时丢失了部分与表情相关的重要信息；③在实验室受控数据集上表现良好，但在非受控数据集上的识别性能有待验证。以上几点致使该方法所提取表情特征的完备性受限，特征的表征能力还有待提高。