[发明专利]一种基于光流与风车模式特征融合的微表情检测方法

说明书

本发明涉及一种基于光流与风车模式特征融合的微表情检测方法，包括步骤如下：(1)对原始视频进行预处理；(2)划分面部感兴趣区域；(3)计算光流特征的模值和角度，设置阈值，获取每个感兴趣区域的微表情起始帧和终止帧；(4)根据WP面部纹理特征，计算WP面部纹理特征的Chi‑Squared(χ²)距离，设置阈值T，获取每个感兴趣区域的微表情起始帧和终止帧；(5)将光流特征与WP特征检测进行结合，得到更全面、更有判决力的面部纹理以及运动信息，选择更为接近人工编码的微表情序列作为最终检测的微表情序列。本发明能够更加精确地定位微表情出现的位置，提高微表情检测的效率，且可以减少计算量，降低时耗，是一种高鲁棒性的微表情检测方法。

技术领域

本发明涉及一种基于光流与风车模式特征融合的微表情检测方法，属于模式识别技术领域。

背景技术

人们在很多情况下擅长伪装或抑制真实情感，在这种情况下容易产生微表情，其具有持续时间短、变化幅度弱、面部动作区域较少等特点。也正因为微表情包含着人们想要隐藏的“情感信号”，尤其是在人面临高风险或者其他精神高度紧张的情形下，它更能体现人们的真实想法，被认为是理解人们真实情绪、识破谎言的重要线索，在测谎等方面微表情有着重要应用。

微表情检测是指从一段原始图像序列中确定微表情起始帧和结束帧的位置，对于研究中微表情库的建立来说，精确有效的检测出微表情显得至关重要。当前微表情检测主要通过人工来完成，方法为具备相关心理学知识的专业人员通过肉眼从一段视频中发现微表情的起始帧、高潮帧和结束帧，并且确定面部肌肉运动单元和以及微表情所表达的情绪。然而，由于微表情持续时间短暂以及表情动作幅度小，往往只能依靠少部分受过专业训练的人员进行检测与识别，而且费时费力、容易遗漏，这极大地限制了微表情的研究及成果的应用，进而影响到微表情数据库的建立。

近年来，在计算机视觉和模式识别领域对于微表情自动检测技术取得了一些成果。2009年，Shreve等将人脸划分为几个主要区域，采用稠密光流法提取图像特征值并使用中心插分法估计光流变化，通过与设定的阈值比较来检测微表情，但是，该方法将人脸区域简单的划分为8块，并且忽略了眼睛等很多重要的表情部位；同年，Polikovsky等采用3D梯度方向直方图的方法在自己的微表情数据库中检测出微表情起始阶段、峰值阶段和结束阶段的持续时间；2011年，Sherve等人利用光流法在自己建立的表情和微表情混合数据库上对两种表情(宏表情和微表情)开展了检测实验，其中微表情的检测准确率达到74％；随后Wu等人采用提取图像Gabor特征并由SVM分类训练的方法捕捉微表情。2014年，Moilanen等提出利用LBP直方图特征计算图像序列的时空信息来检测微表情；随后Davison等用HPG特征代替LBP特征提取图像序列特征后，设定了一个基线阈值通过对比来检测微表情。但这些方法存在一些缺点：第一，忽视了微表情动态过程以及时长，第二，所检测的微表情样本过于理想，对于现实应用缺乏意义，第三，以上方法的微表情检测效果一般，并未达到精准自动检测。

发明内容

针对以上现有技术的不足，本发明提供了一种基于光流与风车模式特征融合的微表情检测方法。

发明概述：

本发明涉及一种基于光流与风车模式特征融合的微表情检测方法，包括：首先，对含有微表情的原始视频进行预处理得到视频帧序列，进而采用Openface自动提取每个视频中性帧(这里选取第一帧)的68个人脸面部关键点，得到每个点的坐标，并根据不同微表情的面部肌肉运动划分感兴趣区域，强调了眼睛、眉毛、鼻子和嘴巴等重要部位；其次，提出一种新的面部纹理特征——风车模式(WP)特征，获取每个视频帧序列中每一帧的四个感兴趣区域的WP特征，并且获取每个感兴趣区域的光流特征，最后，对于两种特征进行结合地完成微表情检测。

本发明基于光流与风车模式特征融合的微表情检测方法能够将面部纹理信息与面部动态信息结合实现微表情检测，更加精确地定位微表情出现的位置，提高微表情检测的效率，且本发明仅对人脸面部感兴趣区域进行特征计算，这样可以减少计算量，降低时耗，是一种高鲁棒性的微表情检测方法。