[发明专利]基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法

说明书

本发明涉及一种基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法，包括以下步骤：S1：微表情数据的预处理：对微表情视频进行欧拉视频放大并抽取图像序列，对图像序列进行人脸定位并裁剪，得到微表情的RGB数据；将欧拉视频放大后的数据提取光流信息，得到微表情的光流图像；S2：将预处理后的数据分为训练集和测试集两部分并使用迁移学习的方法构建双流卷积神经网络，以学习到微表情的空间与时域信息；S3：将双流卷积神经网络的输出进行最大值融合，以增强识别准确率，得到最终的微表情识别模型；S4：使用微表情识别模型创建虚拟学习环境交互系统，并通过Kinect获取用户面部图像序列进行微表情识别任务。

技术领域

本发明属于人工智能领域，涉及一种基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法。

背景技术

情绪在日常生活中的作用非常重要，它可以反映出人的情感状态，并可通过面部表情、声音、肢体语言等方式表现。其中，面部表情是情绪表达中最为重要的方式，也能辅助其他表达方式，因此受到广泛关注。然而，在很多情况下，面部表情往往容易被掩盖或抑制，产生持续时间短，动作幅度小的微表情。这是一种快速的面部表情，持续时间仅有0.5s，动作幅度小且不对称。微表情的识别可以有效地帮助人们更加精确的捕捉人类的真实情感，但是，通常需要专业的心理学者经过大量的训练才能识别微表情。因此，微表情的自动识别与研究显得尤为重要，并在测谎、在线教育、商业谈判等领域有广泛的应用前景。

由于微表情数据为图像序列，单幅图像的表情识别模型已不能有效地识别，且微表情公开数据集的样本数量较少。所以，目前微表情的识别方法以传统机器学习为主，大致分为以下几类：基于局部二值模式(Local binary patterns,LBP)的三维拓展及相关改进方法的识别，LBP是一种针对二维图像的纹理提取方式，将LBP编码拓展到XY、XT、YT三个正交平面进行微表情的特征提取；基于光流场特征识别，及基于张量识别等，再通过支持向量机、最近邻、随机森林等分类器进行分类。这些识别方法需要在微表情的预处理与特征提取阶段消耗大量人力，且识别准确率并未有效提升。

近年来，深度学习在计算机视觉和自然语言处理领域中表现优异，进而成为专家学者广泛研究的对象。深度学习较传统机器学习的主要优点为：特征提取阶段不依赖人工，而是通过构建神经网络让机器自主学习到对象的特征，使得到的训练模型更具泛化能力。然而，由于微表情运动幅度小、持续时间短的特点，常规网络结构不能很好的学习微表情中的时域特征。

因此，使用欧拉放大技术将原始数据进行处理，以增强面部运动幅度；并采用一种新型网络结构可用来识别微表情。该结构由两个卷积神经网络组成，基本思想是将图像序列拆分为表现流和运动流两个通道分别处理，达到空间信息和时间信息互补的目的。使用更精确的TV-L1光流估计方法计算两张相邻微表情图像的光流，能够反映出微表情序列中的时域信息。同时，采用迁移学习的方法进行模型训练，可在一定程度上避免由训练样本数量不足而产生的过拟合现象。使用VGG-16预训练模型初始化网络参数，并利用微表情数据库微调，得到目标任务网络模型。VGG-16预训练模型是由ImageNet数据库训练得到的，该数据库有丰富的图像数据，模型能够很好地获取图像中的低级、局部特征，有较强的泛化能力。并将两个网络的Softmax层的输出进行最大值融合，进一步增加了识别准确率。

创建实时虚拟学习环境交互系统，可实现微表情的实时检测与分类。Kinect是微软公司推出的一款体感设备，可以提供更加自然的人机交互方式，相比其他设备，提高了对周围环境的理解能力。使用Kinect实时采集用户面部图像序列并进行欧拉视频放大、光流分析等处理，输入至训练好的模型中，系统将快速返回微表情识别结果，如开心、压抑、难过、惊讶和其他，并在场景中出现相应交互动画。根据识别结果，教师可及时调整授课策略，保障并提高学生的学习效率，改善学习效果。

综上所述，微表情的应用场景广泛，快速、有较地识别微表情仍是未来一段时间的发展方向。增加微表情的应用场景、优化网络结构并提高模型的识别精确率显得尤为重要。

发明内容