[发明专利]一种微表情动作单元识别方法及系统

权利要求书

1.一种微表情动作单元识别方法，其特征在于，包括：

获取微表情视频的连续帧图像，对连续帧图像经预处理后，提取动态图；

对动态图采用空间金字塔提取多层特征图，每层特征图经区域划分后，提取每个区域的局部特征图，根据每个区域的局部特征图及区域所在位置得到各层特征图的区域特征图；

对各层特征图的区域特征图进行注意力特征提取，根据得到的注意力特征图确定面部动作单元，从而以此获取微表情类型；

所述注意力特征提取的过程包括：

对区域特征图沿通道轴采用最大池化操作和平均池化操作获取每个位置处各个通道的最大值和平均值，分别生成最大特征图和平均特征图；

分别提取最大特征图和平均特征图的特征向量，并获取每个位置的特征在整个面部空间的重要程度，得到特征图和

其中，F为输入的区域特征图，F_Avg(,j)是F的所有通道特征图在(,j)位置处的特征平均值，F_Max(,j)是F的所有通道特征图在(,j)位置处的特征最大值；

并将得到的特征图和调整大小后拼接成组合特征图，将组合特征图降维后，采用sigmoid函数将数值限制到0～1范围内，得到空间注意力特征图；

将区域特征图和空间注意力特征图做乘积，将乘积结果与区域特征图相加，得到注意力特征图。

2.如权利要求1所述的一种微表情动作单元识别方法，其特征在于，所述预处理包括，对连续帧图像进行像素值的归一化处理，对像素值归一化后的连续帧图像进行人脸检测、人脸对齐、图像裁剪和大小归一化处理。

3.如权利要求1所述的一种微表情动作单元识别方法，其特征在于，对连续帧图像经预处理后得到图像序列，对图像序列像素采用排序池化法提取动态图。

4.如权利要求1所述的一种微表情动作单元识别方法，其特征在于，所述空间金字塔包括多层卷积，将每层卷积的最后一个残差块的输出作为空间金字塔的一层特征图，由此提取多层特征图。

5.如权利要求1所述的一种微表情动作单元识别方法，其特征在于，每个区域采用2个1×1的卷积和1个3×3的卷积进行局部特征图的提取，3×3的卷积位于2个1×1的卷积之间，在每个卷积后使用批量归一化和ReLU激活函数。

6.如权利要求1所述的一种微表情动作单元识别方法，其特征在于，所述微表情动作单元识别方法还包括采用焦点损失函数进行网络训练。

7.一种微表情动作单元识别系统，其特征在于，包括：

动态图提取模块，被配置为获取微表情视频的连续帧图像，对连续帧图像经预处理后，提取动态图；

区域特征提取模块，被配置为对动态图采用空间金字塔提取多层特征图，每层特征图经区域划分后，提取每个区域的局部特征图，根据每个区域的局部特征图及区域所在位置得到各层特征图的区域特征图；

动作单元识别模块，被配置为对各层特征图的区域特征图进行注意力特征提取，根据得到的注意力特征图确定面部动作单元，从而以此获取微表情类型；

所述注意力特征提取的过程包括：

对区域特征图沿通道轴采用最大池化操作和平均池化操作获取每个位置处各个通道的最大值和平均值，分别生成最大特征图和平均特征图；

分别提取最大特征图和平均特征图的特征向量，并获取每个位置的特征在整个面部空间的重要程度，得到特征图和

其中，F为输入的区域特征图，F_Avg(,j)是F的所有通道特征图在(,j)位置处的特征平均值，F_Max(,j)是F的所有通道特征图在(,j)位置处的特征最大值；

并将得到的特征图和调整大小后拼接成组合特征图，将组合特征图降维后，采用sigmoid函数将数值限制到0～1范围内，得到空间注意力特征图；

将区域特征图和空间注意力特征图做乘积，将乘积结果与区域特征图相加，得到注意力特征图。