[发明专利]一种基于光流和RGB模态对比学习的微表情识别方法及系统

权利要求书

1.一种基于光流和RGB模态对比学习的微表情识别方法，其特征在于，包括步骤如下：

A、对微表情视频进行预处理，包括：获取视频帧序列、人脸检测与定位、人脸对齐、构建RGB帧序列、构建光流序列以及插值；

B、将步骤A预处理后所得的光流序列和RGB帧序列划分为测试集和训练集；

C、构建双模态对比学习识别模型，所述双模态对比学习识别模型包括三维卷积残差网络，所述三维卷积残差网络分别对光流序列特征和RGB序列特征进行特征编码；

D、构建交叉熵损失和对比学习损失，利用损失函数训练双模态对比学习识别模型；

E、分类识别，根据步骤D训练好的双模态对比学习识别模型，对测试集进行分类识别；

步骤C中，所述双模态对比学习识别模型包括两个3D-ResNet10网络；3D-ResNet10网络包括卷积层Conv1_x、最大池化层Maxpool、卷积层Conv2_x、卷积层Conv3_x、卷积层Conv4_x、卷积层Conv5_x、平均池化层AvgPool和全连接层；卷积层Conv2_x、卷积层Conv3_x、卷积层Conv4_x、卷积层Conv5_x中均设有残差模块BasicBlock；

假设微表情序列的输入大小为B×C×D×W×H，B表示批尺寸大小，C表示序列的通道个数，D表示微表情的序列长度，W和H分别表示输入序列图像的宽和高，经过特征编码之后，光流序列特征、RGB序列特征的特征编码z_rgb、z_flow的维度大小均为B×128；

步骤D中，构建对比学习损失和交叉熵损失，是指：

给定一个微表情数据集X，微表情数据集X由一个样本集合组成；rgbⁱ和flowⁱ表示一个微表情样本的两种模态；

根据两种模态是否来自同一个微表情样本，构建正样本对和负样本对；x＝{rgbⁱ,flowⁱ}称为正样本对，y＝{rgbⁱ,flow^j}称为负样本对，RGB和FLOW表示微表情两种模态的样本集合，

每次选择一个正样本对x和k个负样本对{y₁,y₂,...,y_k}进行损失的计算，则所述双模态对比学习识别模型的对比学习损失L_contrast如式(1)所示：

式(1)中，S＝{x,y₁,y₂,...,y_k}，x表示正样本对，y_i表示负样本对，E_S表示求取期望；h_θ(·)是定义的距离函数，表示两种模态特征的余弦相似度；使用所述双模态对比学习识别模型对光流序列特征和RGB序列特征进行特征提取，得到的特征编码为z_rgb、z_flow，和为双模态对比学习识别模型，则h_θ(·)如式(2)所示：

固定一个模态的样本rgbⁱ，从另一个模态选出正样本flowⁱ和采样出k个负样本flow^j，则式(1)写成式(3)：

根据式(1)和式(3)，固定模态rgb，枚举模态flow求得损失

同时，求得当固定模态flow，枚举rgb时的损失值

则所述双模态对比学习识别模型的对比学习损失L_contrast如式(4)所示：

将z_rgb、z_flow直接连接，进行特征融合，利用融合后的特征计算交叉熵损失，交叉熵损失如式(5)所示：

式(5)中，p(x_i)为x在真实分布中属于第i类的概率；q(x_i)为x在预测分布中属于第i类的概率；n是类别数，则所述双模态对比学习识别模型的总的损失函数如式(5)所示：

L＝α×L_contrast+(1-α)×L_{cross_entropy}(6)

式(6)中，α为权重因子，对两种损失函数进行平衡；

初始化双模态对比学习识别模型的参数，以减小回归损失L作为训练目标，训练双模态对比学习识别模型。