[发明专利]基于多特征融合和双流网络的微表情识别方法

说明书

本发明公开了基于多特征融合和双流网络的微表情识别方法，涉及图像处理领域，包括：获取预设视频中微表情起始帧到结束帧的帧数据；对帧数据进行峰值帧采集获得第一图像并进行人脸裁剪获得第二图像，添加掩膜获得第三图像，提取获得第三图像的水平和垂直光流特征图；提取获得帧数据第一面部动作特征图；构建微表情识别网络；利用第三图像、水平和垂直光流特征图以及第一面部动作特征图构建训练集，利用训练集训练微表情识别网络，训练时，第三图像、第一水平光流特征图和第一垂直光流特征图输入网络的第一网络通道，第一面部动作特征图输入网络的第二网络通道；利用训练后的微表情识别网络识别微表情，本方法具有良好的微表情识别效果。

技术领域

本发明涉及图像处理领域，具体地，涉及基于多特征融合和双流网络的微表情识别方法。

背景技术

微表情是一种人类在试图隐藏某种情感时无意识做出的、短暂的面部表情。微表情通常发生在高压力的情况下，例如司法审讯、政治谈判和心理咨询。虽然微表情背后隐藏着巨大的价值，但遗憾的是即使研究了人脸表情多年的专家在微表情的识别率上也不尽人意，这是因为人眼难以通过短暂的0.5s捕获到低强度的微表情信息。

近年来，微表情识别成为了一个活跃的研究领域，如何从微表情视频帧序列中有效地提取微表情特征成为了热点问题。目前，微表情识别方法主要包括特征提取和分类识别。特征提取主要是提取微表情在时间和空间上的变化特征，这一结论已许多方法中广泛使用。基于传统手工特征提取的方法，如三个正交平面-局部二值模式(local binarypatterns from three orthogonal planes，LBP-TOP)及其改良的方法和基于光流场特征及其改良的方法，这些方法对过多冗余信息进行编码，导致计算成本高且泛化能力较弱。也有如主方向平均光流(MDMO)、双向加权定向光流(Bi-WOOF)和STRCN-G等方法减少了对冗余信息进行编码来提高性能，它们考虑了峰值帧与结束帧之间的光流信息，但是却忽略了被试者自带表情所带来的影响。传统方法受人的主观意识影响较大，在识别性能上还有很大的提升空间。随着研究的不断深入，深度学习开始应用于微表情识别领域，并且在识别性能上展现出了显著的优势。尽管如此，基于数据驱动的深度学习由于训练数据不足，导致它们的性能在微表情识别中也受到了影响。

微表情识别方法最开始是从局部二进制模式(local binary pattern，LBP)开始的，随后Zhao等人通过引入时间维度建立三个正交平面(XY，XT，YT)，得到三个正交平面-局部二值模式(LBP-TOP)，并使用多核学习对微表情进行分类。此后，又在LBP-TOP的基础上提出了时空完整局部量化模式(STCLQP)和被扩展到张量独立的色彩空间中以获得更鲁棒的子空间。

随着深度学习在微表情识别领域的发展，微表情识别方法从单流网络过渡到了多流网络进行识别。GAN等人提出了名为OFF-ApexNet的双流网络，通过计算起始帧和峰值帧水平和垂直光流特征分别输入到双流网络进行识别。GAN等人在原有双流模型上提出浅层三流CNN模型(STSTNET)，该模型通过增加光学应变通路，弥补了水平光流和竖直光流中丢失的细节信息。Zhou等人提出的双流Inception网络，2个流的输入分别是峰值帧光流的水平、垂直分量图，在全连接层以特征融合的方式将2个流提取到的特征连接起来，利用Softmax层进行分类。Song等人提出了一种三流卷积神经网络(TSCNN)，其中第一个流对峰值帧的灰度图学习静态空间特征；第二个流对通过放大和分割视频帧学习局部空间特征；第三个流对起始帧和峰值帧之间的光流场学习时间特征。Liu等人认为微表情起始帧到结束帧中含有很多潜在信息，分别提取了起始帧与峰值帧和峰值帧与结束帧的水平和垂直光流特征。将这4张光流特征图和峰值帧的灰度图分别传入五流的CNN模型中进行识别。以上这些网络大都是对微表情的起始帧、峰值帧和结束帧三者之间进行水平和垂直光流提取，但是却忽略了其它偏移帧的信息。更重要的是，他们都没有考虑到被试者自带表情的所带来的影响，从而影响了他们方法的识别性能。