[发明专利]一种基于动态图卷积网络的微表情识别方法

权利要求书

1.一种基于动态图卷积网络的微表情识别方法，其特征在于：

基于浅层网络的全局面部特征学习模块提取起始帧与峰值帧的光流，在主干网中学习光流上的全局面部特征；

基于注意力机制的面部运动单元特征学习与检测模块，结合注意力机制与面部运动单元平衡检测损失函数，在全局面部特征的基础上学习多个面部运动单元特征；

将面部运动单元特征输入到基于动态图卷积的面部运动单元关系推理与微表情分类模块中，对面部运动单元之间的关系进行动态学习，并使用聚合的面部运动单元关系特征进行微表情分类。

2.根据权利要求1所述的基于动态图卷积网络的微表情识别方法，其特征在于，所述面部运动单元平衡检测损失函数具体为：

其中：表示在第k个样本中检测出第m个面部运动单元的概率，θ表示网络模型训练参数，M表示每个训练批次中的训练样本数目，K表示面部运动单元数目，w_k表示训练批次中正样本的比例，y^a表示样本x的面部运动单元标签。

3.根据权利要求1所述的基于动态图卷积网络的微表情识别方法，其特征在于，所述动态学习是利用图卷积神经网络进行的。

4.根据权利要求2所述的基于动态图卷积网络的微表情识别方法，其特征在于，所述微表情识别方法的总损失函数为：

L(θ,φ；y^e,y^a)＝L_cls(φ,y^e)+λL_detc(θ,y^a)

其中：φ表示模型可训练的参数，y^e表示情感标签，λ为超参数，L_cls为微表情分类任务损失函数。

5.根据权利要求1所述的基于动态图卷积网络的微表情识别方法，其特征在于，所述全局面部特征的获取为：

在基于浅层网络的全局面部特征学习模块中，两个完全独立的Inception网络分别对光流的水平分量和垂直分量进行特征学习，然后在主干网络的末端将两个独立学习到的特征分量进行合并；最后，对合并后的特征向量进行全链接层处理，得到样本x的维度为d的全局面部特征z。

6.根据权利要求1所述的基于动态图卷积网络的微表情识别方法，其特征在于，所述多个面部运动单元特征可表示为：

其中，0＜k≤K，Sigmoid_k(z)表示第k个面部运动单元的注意力权重，⊙表示元素相乘操作。

7.根据权利要求6所述的基于动态图卷积网络的微表情识别方法，其特征在于，所述动态图卷积的第二层图卷积网络后，将面部运动单元动态关系特征进行求和池化，得到微表情情感级别特征向量z_e。

8.根据权利要求7所述的基于动态图卷积网络的微表情识别方法，其特征在于，所述微表情情感级别特征向量z_e与面部运动单元特征进行融合，基于所融合的微表情情感级别特征进行分类任务。