[发明专利]一种基于注意力机制的自适应微表情识别方法

权利要求书

1.一种基于注意力机制的自适应微表情识别方法，其特征在于，包括如下步骤：

(1)获取一个微表情数据库，对数据库中的所有图像序列进行人脸检测，人脸校准，面部区域裁剪的工作，最终获得只包含面部区域的图像，数据库中的一个受试者作为测试集，剩下的最为训练集；

(2)从预处理后的每个微表情图像序列中以一定的间隔选取一定数量的图像，每张图像采用基于运动放大的方法依次放大1-9倍；

(3)对单张图像的一组放大图像使用Resnet-18骨干网络进行特征提取，得到每个放大图像对应的特征向量，对这一组特征向量使用注意力机制，注意力机制由一个全连接层和一个sigmoid函数组成，添加了注意力权重的特征向量之后被整合为一个向量；

(4)经过上述步骤，序列中的每张图像都对应有一个特征向量，对同一序列中的这些特征向量再次使用注意力机制，添加了注意力权重的特征向量再次被整合成为一个向量；

(5)将经过上述步骤得到的特征向量经过一个全连接层，全连接层的输出维度与数据库的表情类别数一致，在全连接层后添加softmax层，计算训练数据对应的softmax层输出以及其情感类别标签之间的交叉熵，将该交叉熵作为网络损失，采用反向传播算法更新网络参数，完成网络训练；

(6)将测试数据集以同样的方式进行预处理，得到其对应的特征向量，并将特征向量输入训练好的网络，输出中维数最大的类别即为识别的情感类别。

2.如权利要求1所述的基于注意力机制的自适应微表情识别方法，其特征在于，步骤(2)中所述放大图像的表示为：

I_magnified＝I_onset+(I_seleted-I_onset)×amp_i

式中，I_magnified表示放大后图像，I_onset表示微表情序列的起始帧，I_selected表示选取的图像帧，amp_i表示放大因子，值设置为1-9。

3.如权利要求1所述的基于注意力机制的自适应微表情识别方法，其特征在于，步骤(3)中所述使用Resnet-18骨干网络进行特征提取得到方法图像对应的特征向量的计算方法为：

F_i＝f(cony(I_magnified，W_c)+b_c)

式中，F_i表示放大图像对应的特征向量，I_magnified表示骨干网络的输入，W_C、b_C分别为权重参数、偏置参数，有一部分通过网络训练得到，另外一部分为骨干网络原始参数不参与更新，conv()表示卷积函数，φ为激活函数，且φ(·)＝max(0，·)。

4.如权利要求1所述的基于注意力机制的自适应微表情识别方法，其特征在于，步骤(3)中所述对每张放大图像施加注意力权重的计算方法为：

式中，α_i为单张放大图像的注意力权重值，表示放大图像经过骨干网络特征提取后得到的特征向量，q⁰表示全连接层的参数，通过网络训练得到，σ表示sigmoid函数。

5.如权利要求1所述的基于注意力机制的自适应微表情识别方法，其特征在于，步骤(3)中所述将添加注意力权重的特征向量整合为一个特征向量的计算方法为：

式中，F_m表示单张图像整合后得到的特征向量，α_i为单张放大图像的注意力权重值，表示放大图像经过骨干网络特征提取后得到的特征向量。