[发明专利]一种基于注意力机制的面部情感识别方法

权利要求书

1.基于注意力机制的面部情感识别方法，其特征在于，具体按照以下步骤实施：

步骤1、采集图像，并将图像分为训练样本集x_train和测试样本集x_test；

步骤2、读取训练样本集x_train中每个样本图像原始情感标注值，并将训练样本集x_train中每个样本图像送入多任务卷积神经网络MTCNN中，根据人脸检测和5个关键特征点，完成人脸对齐，得到输出特征x_input＝[x₁，x₂，...，x_n]；

步骤3、将预处理后得到的输出特征x_input输入到残差注意力网络中，然后通过主干分支提取不同感受野的特征M_i，c(x)、掩码分支学习注意力权重T_i，c(x)；最后，将主干分支的输出和掩码分支的输出进行点积运算，得到注意力输出特征图H_i，c(x)；

步骤4、将步骤3中得到的注意力输出特征图H_i，c(x)分别送入转换器Transformer和非局部神经网络学习，Transformer输出特征图之间的依赖关系Z_trans，非局部神经网络输出特征图中空间位置之间的依赖关系Z_non-local；

步骤5、将特征图之间的依赖关系Z_trans和特征图中空间位置之间的依赖关系Z_non-local进行融合，得到输出特征Z_fusion；

步骤6、采用两阶段多任务学习网络训练一个分类器，将步骤5得到的输出特征Z_fusion送入分类器，得到情感状态值：Arousal和Valence。

2.根据权利要求1所述的基于注意力机制的面部情感识别方法，其特征在于，所述步骤1具体按照以下步骤实施：

对于训练样本集x_train，样本图片为n×h×w维的张量x_train＝[(h₁，W₁)，(h₂，w₂)，...，(h_n，w_n)]，其中n表示训练样本集的样本总数目，h表示每个样本图片的长度，w表示每个样本图片的宽度，样本的原始情感标注值为n×2维的向量y_a，v＝[(a₁，v₁)，(a₂，v₂)，...，(a_n，v_n)]，其中(a_n，v_n)分别表示训练样本集x_train中第n个样本图片的Arousal和Valence标签；

对于测试样本集x_test，样本图片为m×h×W维的张量x_test＝[(h₁，w₁)，(h₂，w₂)，...，(h_m，w_m)]，其中m表示测试样本集的样本总数目，h表示每个样本图片的长度，w表示每个样本图片的宽度，样本的原始情感标注值为m×2维的向量y_a，v＝[(a₁，v₁)，(a₂，v₂)，...，(a_m，v_m)]，其中(a_m，v_m)分别表示测试样本集x_test中第m个样本图片的Arousal和Valence标签。