[发明专利]基于自适应运动放大和卷积神经网络的微表情识别方法

说明书

本发明公开了基于自适应运动放大和卷积神经网络的微表情识别方法，包括：步骤一：将微表情视频某一样本转化为图像序列，并进行人脸裁剪和对齐；步骤二：读取图像序列的起始帧，并使用顶点帧定位算法计算得到顶点帧图片；步骤三：采用自适应运动放大方法，确定合适的放大倍数，并根据确定的放大倍数对顶点帧进行运动放大以增强微表情的特征；步骤四：根据起始帧和放大后的顶点帧获取微表情视频的光流特征，得到水平光流、垂直光流和光学应变；步骤五：建立用于微表情识别的卷积神经网络模型，并使用该模型进行从宏表情到微表情的迁移学习；步骤六，将光流特征输入迁移学习之后的模型，输出为时间空间特征，对模型进行训练后实现微表情识别。

技术领域

本发明涉及基于自适应运动放大和卷积神经网络的微表情识别方法，属于图像处理技术领域。

背景技术

人脸的微表情(Micro Expression，ME)是一种持续时间短、肌肉运动幅度小且无法自主控制的面部表情，它通常发生在人类试图隐藏自己内心真实情绪的时候，具有不可欺骗性。微表情的产生是无意识的，但往往能够有效表达一个人的真实情感，因此，微表情作为一种识别谎言的线索，在心理学研究、刑侦领域及安全领域等都有广泛的研究与应用。与宏表情相比，微表情往往发生迅速且持续时间短，相关研究表明其持续时间通常在1/25～1/5秒；并且微表情产生时牵扯到的面部肌肉少、幅度小，一般只会出现在人脸运动单元中的1～4个小区域。因此，依靠肉眼很难发现微表情，基于计算机视觉的微表情识别技术应运而生。

微表情的识别技术大致包括三个步骤：预处理、特征提取和分类，其中特征表示方法已成为关于微表情识别研究的重点之一。微表情特征提取的主流方法是基于局部二值模式或光流的特征表示方法，光流特征虽然可以捕获面部细节以描述相邻帧之间的运动信息，但会受到光照敏感性的限制，因此，研究人员开始尝试将深度学习技术应用于微表情识别，但深度学习的训练过程需要大量的样本数据才能达到最好的模型效果。由于微表情是自发的，很难通过实验手段诱导自发进行收集和标记，从而缺乏大型基准数据集，这限制了网络模型的性能。因此，针对微表情的复杂情况进行合适的预处理，以及设计更适合小样本数据库使用的网络模型变得十分重要。

在基于深度学习技术的微表情识别领域，刘汝涵等人(刘汝涵，徐丹.视频放大和深度学习在微表情识别任务上的应用[J].计算机辅助设计与图形学学报，2019，031(009)：1535-1541.)采用基于相位的视频放大技术对微表情视频数据进行放大，利用特征点定位获取眼部坐标，并将原始眼部视频替换到放大视频中进行图像融合，以实现对眼部干扰的消除。Xia等人(Xia Zhaoqiang，Hong Xiaopeng，et al.Spatiotemporal RecurrentConvolutional Networks for Recognizing Spontaneous Micro-Expressions[J].IEEETransactions on Multimedia，2020，22(3)：626-640.)提出了一种基于深度递归卷积网络的微表情识别方法，捕捉使用欧拉视频放大方法进行放大的微表情序列的时空变形。但是，上述方法采用运动放大技术对所有样本进行了无区别放大，尽管放大后的微表情特征更明显，却忽略了每个微表情样本强度不同的情况。并且现有基于视频运动放大技术的微表情识别方法大部分都采用欧拉视频放大(Eulerian Video Magnification，EVM)技术，需要手工设计参数，过程复杂，并且因为微表情的运动很小，所以放大结果容易产生噪音或过度模糊。

相较于EVM，基于学习的视频运动放大(Learning-based Video MotionMagnification，LVMM)方法可以在真实视频上获得更高质量的结果，不需要手工设计参数，只需输入想要放大的倍数。但不同样本的微表情强度不同，因此，所需要的放大的倍数也不同。除此之外，微表情面部肌肉运动幅度小，如何让网络在训练过程中关注微小但却重要的特征是非常值得重视的问题。

发明内容

针对现有技术在微表情特征提取时存在的不足，本发明提供了基于自适应运动放大和卷积神经网络的微表情识别方法，能够更好地增强微表情特征，准确率更高。