[发明专利]一种用于微表情识别的鉴别性特征学习方法与系统

说明书

本发明公开了一种用于微表情识别的鉴别性特征学习方法与系统。首先提取微表情视频序列中的起始帧和峰值帧，并对其进行预处理，进而计算峰值帧与起始帧之间的光流信息，得到光流图；然后从普通表情图像库中选取其表情类别不同于峰值帧的一幅图像，对其进行裁剪，并用裁剪得到的图像块替换峰值帧图像的对应区域，得到合成图像；接着构造基于类激活图注意力机制的双流卷积神经网络模型，将光流图和合成图像分别输入到双流卷积神经网络的两个支路，对模型进行训练；最后用训练好的模型从输入的视频序列中提取鉴别力强的特征，用于微表情分类识别。本发明可以有效防止模型过拟合，并使模型学习到鉴别力强的微表情特征，提高微表情识别的准确率。

技术领域

本发明涉及一种用于微表情识别的鉴别性特征学习方法与系统，属于微表情识别及人工智能领域。

背景技术

表情是人类表达自身情感的一种非语言性行为，也是让机器人能智能化理解人类情感的一个重要途径。一般表情是人在情绪表达没有受到抑制的情况下表现出来的，面部动作幅度往往很大，持续时间也长。但是在某些情况人们会刻意抑制、隐藏自身的情绪，而这些受抑制的情绪会通过面部极快的表情自发的表现出来，这一类表情被称为微表情。微表情持续时间极短，少于0.2秒，面部动作变化非常细微以至于人类对于微表情的识别准确率很低。目前微表情识别就是在现有的数据库上进行微表情样本序列的分类，微表情识别一般分为两步：特征提取和分类。主要的工作都集中在特征提取上，按特征提取的方式可以简单的将微表情识别分为两类，第一类是基于手工设计的特征，第二类是基于卷积神经网络提取的特征。

基于手工设计特征的方法经过几十年的发展在微表情识别方面取得了一定的成果，但是需要专业的先验知识和复杂的调参过程，泛化能力和鲁棒性比较差。随着机器学习以及深度学习的迅速发展，卷积神经网络在计算机视觉的众多领域取得了良好的性能表现，越来越多的研究者将卷积神经网络应用到微表情识别上。Ruicong提出将3D卷积神经网络(3D-CNNs)和迁移学习相结合，首先将3D-CNNs在普通表情数据库Ouclu-CASIA进行监督学习，然后将预训练得到的模型用于微表情训练，为了解决数据库样本过少的问题，作者利用图像翻转和旋转将数据库扩大了7倍。Kim将卷积神经网络和长短期记忆网络(LSTM)结合来提取微表情视频序列的空间和时间信息，利用卷积神经网络学习微表情视频各个帧的空间信息，随后再用LSTM学习各个帧之间的时间信息，实验结果表明该方法优于LBP-TOP和相应的变体。Liong等人使用微表情的起始帧和峰值帧计算光流信息，然后用双流卷积神经网络分别提取水平方向光流图和垂直方向光流图的特征并融合，最后进行分类。

中国专利申请“基于通道注意力机制的微表情识别方法及系统”(专利申请号CN202010687230.5，公开号CN112001241A)，通过计算峰值帧与起始帧之间的光流水平分量、垂直分量以及光流强度形成三维张量，然后输入到基于通道注意力机制的微表情识别网络模型中，最后得出分类结果。该方法的输入全是基于光流信息，因此无法有效提取微表情视频序列的空间信息。

中国专利申请“一种基于3D卷积神经网络的微表情识别方法”(专利申请号CN201610954555.9，公开号CN106570474A)，对于微表情视频序列中的各帧图像提取灰度通道特征图、水平方向梯度通道特征图、竖直方向梯度通道特征图、水平方向光流通道特征图、竖直方向光流通道特征图从而获得待识别微表情视频序列所对应的一个特征图组，然后输入到3D卷积神经网络进一步提取特征并分类。该方法对于微表情视频序列的每一帧图像都要处理，计算量极大，并且没有对训练数据作扩充，模型在训练过程中很容易出现过拟合问题。

尽管卷积神经网络在微表情识别领域取得了优异的表现，但仍存在着诸多挑战。第一，训练卷积神经网络需要大量的样本，而微表情的数据库样本有限。微表情视频库CASME II只有256个微表情视频序列，这很容易造成模型过拟合。第二，微表情相较于普通表情变化幅度小，强度弱，一般的卷积神经网络模型往往只关注脸部变化相较于明显的区域(例如嘴巴、眼睛等区域)，而忽略了脸部其他变化相较微小的区域，这就导致模型提取信息不充分，怎样提升模型对微表情鉴别性特征的学习能力是提升微表情识别准确率的重要因素。