[发明专利]基于自适应运动放大和卷积神经网络的微表情识别方法

权利要求书

1.基于自适应运动放大和卷积神经网络的微表情识别方法，其特征在于，所述方法包括如下步骤：

步骤一：将微表情视频某一样本转化为图像序列，并进行人脸裁剪和对齐；

步骤二：读取所述图像序列的起始帧，并使用顶点帧定位算法计算得到顶点帧图片；

步骤三：采用自适应运动放大方法确定合适的放大倍数m，并根据确定的放大倍数m对所述顶点帧进行运动放大以增强微表情的特征；

步骤四：根据起始帧和放大后的顶点帧获取所述微表情视频某一样本的光流特征，得到水平光流、垂直光流和光学应变；

步骤五：建立用于微表情识别的卷积神经网络模型，并使用该模型进行从宏表情到微表情的迁移学习；

步骤六，将所述步骤四中得到的光流特征输入所述步骤五中迁移学习之后的模型，输出为时间空间特征，对模型进行训练后实现微表情识别。

2.根据权利要求1所述的方法，其特征在于，所述方法包括：

所述步骤一中，采用人脸检测器从所述图像序列中检测人脸，并且使用第一帧检测到的面部关键点对所述图像序列所有帧进行人脸裁剪和对齐。

3.根据权利要求1所述的方法，其特征在于，所述方法包括：

所述步骤三中，所述自适应运动放大方法基于余弦相似度的如下公式计算所述放大倍数m：

其中，表示向下取整；cos(θ_me)表示从所述微表情视频某一样本中获得的起始帧和顶点帧计算得到的余弦相似度；α为微表情的强度变化因子。

4.根据权利要求3所述的方法，其特征在于，所述微表情的强度变化因子α的取值为0.002，由如下公式计算得到：

其中，M＝1；表示使用宏表情视频中所有样本的起始帧和顶点帧计算得到的余弦相似度的平均值，所述宏表情视频来自CK+宏表情数据集；并且采用所述数据集中视频样本的1/3帧作为顶点帧。

5.根据权利要求3或4的任一项所述的方法，其特征在于，余弦相似度的计算公式如下：

其中，F_onset表示视频样本起始帧的像素矩阵，F_apex表示视频样本顶点帧的像素矩阵。

6.根据权利要求3所述的方法，其特征在于，所述步骤三中，

将计算得到的放大倍数m和所述微表情视频某一样本的起始帧、顶点帧输入LVMM网络，得到放大后的顶点帧。

7.根据权利要求1所述的方法，其特征在于，所述步骤五中包括如下步骤：

A1：在用于宏表情识别的卷积神经网络模型的输入层中添加左乘投影变换和右乘投影变换，以增强输入特征；

A2：在所述用于宏表情识别的卷积神经网络模型中添加通道注意力机制，以增强网络模型的特征提取能力。

8.根据权利要求7所述的方法，其特征在于，所述步骤五中还包括如下步骤：

A3：由所述用于宏表情识别的卷积神经网络模型经过所述步骤A1和A2的改进，建立用于微表情识别的卷积神经网络模型；并且使用所述用于微表情识别的卷积神经网络模型进行从宏表情到微表情的迁移学习。

9.根据权利要求1所述的方法，其特征在于，所述方法采用自适应运动放大方法对微表情视频进行运动放大，实现微表情强度放大；并且选取CK+宏表情视频的1/3帧作为顶点帧，实现宏表情强度缩小。

10.根据权利要求9所述的方法，其特征在于，所述方法通过微表情强度放大和宏表情强度缩小，能够提高宏表情识别和微表情识别两个域之间的适应性，进而使用宏表情转微表情识别模型完成微表情识别，提高微表情识别准确率。