[发明专利]一种基于动态图卷积网络的微表情识别方法

说明书

本发明提供了一种基于动态图卷积网络的微表情识别方法，首先，基于浅层网络的全局面部特征学习模块提取起始帧与峰值帧的光流，在主干网中学习光流上的全局面部特征；然后，基于注意力机制的面部运动单元特征学习与检测模块，结合注意力机制与面部运动单元平衡检测损失函数，在全局面部特征的基础上学习多个面部运动单元特征；最后，将面部运动单元特征输入到基于动态图卷积的面部运动单元关系推理与微表情分类模块中，对面部运动单元之间的关系进行动态学习，并使用聚合的面部运动单元关系特征进行微表情分类。本发明解决了微表情研究中面部运动单元与微表情识别无法在同时进行相互促进的问题，可用于微表情面部运动单元检测以及识别的应用场景。

技术领域

本发明属于微表情识别技术领域，具体涉及一种基于动态图卷积网络的微表情识别方法。

背景技术

微表情，作为体现人类内心最真实想法的情感表现之一，由于其特殊的触发机制(人们试图隐藏内心真实想法时发生)以及其特殊的本质(可揭示人类真心真实想法)，使得相关的微表情识别研究成果具有巨大的潜在应用价值，例如司法刑侦系统、公安测谎系统、商业谈判系统、远程教育系统以及医疗卫生系统等。然而，与传统的面部表情(宏表情)相比，微表情持续时间短、带来的面部肌肉运动通常发生在人脸中很小的一部分局部区域，且面部肌肉运动强度低。因此，微表情很难用肉眼觉察，尤其是没有经过专业训练的绝大部分人是没有能力对微表情进行实时捕捉和识别的。心理学家Frank等人曾对人类识别微表情的能力进行过测试。实验表明，在经过大量、反复的专业训练后，普通人对于微表情的识别能力依然处理一个很低的水平，总体识别率仅为40％左右，远不能达到实际应用领域的要求。鉴于此，在过去的十几年里研究人员开始尝试通过计算机进行微表情的自动识别，以期获得更高质量的微表情识别技术来辅助我们感知和理解微表情。

但是现有的基于计算机自动识别的微表情识别技术主要关注的是面部整体特征或者面部固定区域上的微表情识别。根据Ekman等人的研究，面部表情的发生时由于面部运动单元的协同合作构成，所以如何让模型可以自动学习没有明显边界的面部运动单元特征，并让模型自动学习面部运动单元与微表情类别之间的关系，从理论上可以提高微表情的识别率。目前还未出现一种为联合面部运动单元检测以及动态构建面部运动单元之间的关系以提高微表情识别率的方法。

发明内容

有鉴于此，本发明提供了一种基于动态图卷积网络的微表情识别方法，使得基于注意力机制学习到的面部运动单元特征进行动态关系推理后得到的全局微表情特征，不受数据库中标注好的面部运动单元之间关系的干扰，且更显著地体现样本中不同面部运动单元之间关系的差异，从而提高微表情中面部运动单元检测与情感识别的准确度。

本发明是通过以下技术手段实现上述技术目的的。

一种基于动态图卷积网络的微表情识别方法，具体为：

基于浅层网络的全局面部特征学习模块提取起始帧与峰值帧的光流，在主干网中学习光流上的全局面部特征；

基于注意力机制的面部运动单元特征学习与检测模块，结合注意力机制与面部运动单元平衡检测损失函数，在全局面部特征的基础上学习多个面部运动单元特征；

将面部运动单元特征输入到基于动态图卷积的面部运动单元关系推理与微表情分类模块中，对面部运动单元之间的关系进行动态学习，并使用聚合的面部运动单元关系特征进行微表情分类。

上述技术方案中，所述面部运动单元平衡检测损失函数具体为：

其中：表示在第k个样本中检测出第m个面部运动单元的概率，θ表示网络模型训练参数，M表示每个训练批次中的训练样本数目，K表示面部运动单元数目，w_k表示训练批次中正样本的比例，y^a表示样本x的面部运动单元标签。

上述技术方案中，所述动态学习是利用图卷积神经网络进行的。