[发明专利]一种基于面部区域启发关系网络的遮挡微表情识别方法

说明书

本发明提供了一种基于面部区域启发关系网络的遮挡微表情识别方法，首先对微表情面部进行区域划分得到面部区域，提取所有面部区域的峰值帧与起始帧的光流，对不同面部区域上的光流进行进一步的局部特征学习，得到不同面部区域的局部特征；然后，利用注意力机制自适应提取不同面部区域的重要性，为每个面部区域分配不同的权重，得到加权面部区域特征；最后，对不同面部区域进行全局关系推理，通过推理各个加权面部区域特征之间的关系，捕获全局特征表示并进行微表情分类。本发明不受面部遮挡因素的干扰，识别准确度高，能更显著地体现识别目标类别之间的差异。

技术领域

本发明属于微表情识别领域，具体涉及一种基于面部区域启发关系网络的遮挡微表情识别方法。

背景技术

随着计算机科学的不断发展和进步，人工智能的威力已经溢出高校科研的范畴，开始在人们的衣食住行等方方面面发挥威力。情感计算，作为人工智能情感化的关键一步，其目标是希望机器不仅能够识别人的真实情感，还能根据人的情感状态产生和表达机器的情感，成为真正有温度的陪伴者与服务者。心理学家和神经学家发现，与普通的能用肉眼观察到的、持续时间长、面部表情与内心真实想法一致的宏表情相比，微表情特指人类试图压抑或隐藏真实情感时泄露的非常短暂且不能自主控制的面部表情。因此，与宏表情相比，微表情被认为可能是判断一个人真实情感的最有利的线索。然而因为微表情持续时间短、面部肌肉运动微弱，肉眼难以识别，这就促使了微表情自动识别技术的诞生。

但是现有的基于计算机的微表情识别技术主要关注的是非遮挡场景下(即实验室数据库下)的微表情识别。在我们现实生活中，由于眼镜、口罩、围巾等外物的遮挡，遮挡场景下的微表情样本更为普遍。与非遮挡场景下的微表情识别相比，遮挡场景下的微表情识别由于人脸部位被遮挡识别率无法保证。如果将实验室场景的微表情识别方法直接用于遮挡微表情识别，识别率会大大降低。

发明内容

为了解决现有技术中存在的问题，本发明提供了一种基于面部区域启发关系网络的遮挡微表情识别方法，使得基于区域启发学习到的区域加权特征进行关系推理后得到的全局微表情特征，不受面部遮挡因素的干扰，且更显著地体现识别目标类别之间的差异，从而提高识别的准确度。

本发明是通过以下技术手段实现上述技术目的的。

一种基于面部区域启发关系网络的遮挡微表情识别方法，具体为：

对微表情面部进行区域划分得到面部区域，提取所有面部区域的峰值帧与起始帧的光流，对不同面部区域上的光流进行局部特征学习，得到不同面部区域的局部特征；

利用注意力机制自适应提取不同面部区域的重要性，为每个面部区域分配不同的权重，得到加权面部区域特征；

对不同面部区域进行全局关系推理，通过推理各个加权面部区域特征之间的关系，捕获全局特征表示并进行微表情分类。

进一步地，所述提取不同面部区域的重要性具体为：对每个面部区域的局部特征进行压缩编码，然后拼接成为一组特征图；

所述压缩编码采用如下公式：

μ_k＝F₂([AvgPool(F₁(p_k))；MaxPool(F₁(p_k))])

其中：表示第k个面部区域的局部特征；F₁和F₂分别表示池化操作前和池化操作后的两个不同卷积操作，H和W分别代表特征图的高、宽，C表示面部区域局部特征的原始通道，代表实数，AvgPool表示平均池化操作，MaxPool表示最大池化操作，1≤k≤K；

将K个面部区域的局部特征看成是来自K个通道的特征，对K个通道的特征进行特征拼接操作，得到一组特征图其中K代表特征图通道数。