[发明专利]一种基于光流和RGB模态对比学习的微表情识别方法及系统

说明书

本发明涉及一种基于光流和RGB模态对比学习的微表情识别方法及系统，包括：A、对微表情视频进行预处理，包括：获取视频帧序列、人脸检测与定位、人脸对齐以及提取光流序列特征和RGB序列特征；B、对微表情数据集提取光流序列特征和RGB序列特征，将其划分为测试集和训练集；C、构建双模态对比学习识别模型，包括三维卷积残差网络，三维卷积残差网络分别对光流序列特征和RGB序列特征进行特征编码；D、构建交叉熵损失和对比学习损失，利用损失函数训练双模态对比学习识别模型；E、分类识别，根据训练好的双模态对比学习识别模型，对测试集进行分类识别。本发明利用监督信息和无监督信息对网络同时约束，以此得到更强的特征表达。

技术领域

本发明涉及一种基于光流和RGB模态对比学习的微表情识别方法及系统，属于深度学习和模式识别技术领域。

背景技术

微表情是非常简短、微妙和非自愿的面部表情，通常发生在一个人故意或不自觉地隐藏他或她的真实情绪时，这为揭示人们的真实心理或情绪提供了依据。在刑侦审判、安全防护、心理咨询等领域有重要的应用。

特征表示对微表情识别具有重要作用，好的特征表示有助于提高微表情的识别率。按特征表示的种类，可以将微表情识别算法分为两大类：基于手工制作特征的识别算法和基于学习特征的识别算法。

常见的手工制作特征有：三正交平面的局部二值模式特征以及变形、梯度特征和光流特征。Zhao等人提出了LBP-TOP特征，LBP-TOP是将LBP从二维空间到三维空间的扩展，增加了时间域信息。一个图像序列，给出三个正交平面的纹理图，X-Y就是我们正常看到的图像，X-T是每一行沿着时间轴扫描而过的纹理，Y-T是每一列沿着时间轴扫描而过的图像，对三个平面提取LBP特征，最后将提取的特征进行连接就形成了最终特征表达。Liu提出了主方向平均光流特征(Main Directional Mean Optical-flow，MDMO)。MDMO根据运动单元的划分将面部分割为36个感兴趣区域，计算每一个区域的光流幅值和角度，作为最终的特征表示。MDMO的特征维度为72维，有效减少了计算量。对于视频序列来说，MDMO特征是通过逐帧平均一组特征来计算的。尽管MDMO中的平均操作很简单，但它很容易失去特征空间中固有的底层流形结构。为了改善MDMO，Liu等人提出了一种从微表情数据集中学习有效字典表示的稀疏MDMO特征。并在此基础上，提出了一种新的距离度量方法，这种方法可以有效地揭示特征潜在的流形结构。Alexander Klser等人将HOG特征从二维扩展到三维，提出三维梯度直方图(Histograms of Oriented 3D Gradients，3DHOG)，用积分视频计算平均梯度向量，之后用正十二面体或正二十面体做量化，将平均梯度向量投影到每个面的中心，得到统计直方图。

常见的基于学习特征的微表情识别算法又可以细分为两种：两步学习和三维卷积神经网络。两步学习将微表情识别算法分成两步，包含两种形式。第一种形式是卷积神经网络和循环神经网络的结合；第二种形式是手工制作特征和循环神经网络的结合。Verburg等人首先提取不同时隙两帧之间的定向光流直方图特征，之后送入长短时记忆网络，提取序列的时序特征。Kim等人也提出了一种两步学习框架。首先利用卷积神经网络提取微表情帧的空间特征并形成空间特征序列，之后送入循环神经网络提取时间特征。三维卷积神经网络是在二维卷积神将网络扩展而来，由于二维卷积神将网络不能很好的捕获时序上的信息，因此三维卷积神经网络被提出，这样就能很好的利用微表情序列中的时序信息。Zhao等人提出了一种新型深度递归卷积网络用来捕获微表情序列的时空信息。该模型由几个用于提取视觉特征的循环卷积层和一个用于识别的分类层组成。

目前，基于手工制作特征的识别算法往往提取纹理信息或者边缘信息，难以提取视频序列更深层的特征。而基于学习特征的识别算法，往往通过深度学习方法实现，但深度模型的训练需要大量的数据，微表情数据库的样本数量有限使得深度学习的方法无法进一步提升识别率。

发明内容