[发明专利]基于神经网络的微表情识别方法、系统、设备及存储介质

说明书

本发明属于人工智能技术领域，提出一种基于神经网络的微表情识别方法、系统、设备及存储介质，该方法包括：对待识别视频中微表情图像进行预处理，获取预处理后的微表情图像；提取预处理后的微表情图像中的微表情时空特征；将预处理后的微表情图像中的微表情时空特征输入到微表情识别模型中，对所述待识别视频中的微表情进行识别。本发明通过深度堆叠网络模块可以对微表情时空特征进行二次特征提取，并通过长短期记忆网络模块可以保证微表情时空特征能在微表情识别模型中进行有效传递，进一步提高微表情识别精度；最后通过粒子群优化算法对深度堆叠网络进行优化，解决了微表情识别模型中维度灾难的问题。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于神经网络的微表情识别方法、系统、设备及存储介质。

背景技术

人脸表情作为人类情绪的直接反映，一直是计算机视觉领域中最重要的研究方向之一，在过去的数十年研究之中，学术界和工业界已经在表情识别领域取得十分巨大的成功。在表情识别中，自发式表情因其不可抑制和伪造，反映的是人类内心真实想法，在风控理赔、司法审讯和心里资料方面存在巨大的应用价值，逐渐成为今年来研究热点。

相对于一般的人脸表情，微表情具备多种特点，持续时间很短，脸部纹理变化波动小，一般只会出现在上脸和下脸，因此对于微表情的分类识别，是十分困难的。一般用于微表情的特征提取和分类算法有面部动作编码系统，通过预先定义的编码表征脸部动作单元，进行识别分类；基于微表情的时频域，基于三角化的时域编码模型，通过主管表现模型进行标注，进而进一步的识别。

这些传统的微表情方法，通常依赖于大量正定标本，并且加入主观因素，不能主动提取特征，会存在耗费大量人力、物力的情况，并且因为微表情复杂的特征，并不能取得很好的分类效果。近年来，得益于深度学习在模式识别、图像分类等领域取得的巨大突破，其也被应用于微表情的分类识别之中。随着自动学习算法的快速发展，基于数据分析的表情研究成为主流之一，传统的微表情识别研究有根据光流算法对连续帧图像表征组图像之间的差异；结合表情数据空间特征，采用Gabor滤波，或者Riesz谱分等，以提取纹理特征等，这些特征方法，通常需要一定的人工先验知识，往往取得的识别效率不高。

发明内容

本发明提供一种基于神经网络的微表情识别方法，其主要目的在于自动对微表情进行识别，有效提高微表情识别效率。

第一方面，本发明实施例提供一种基于神经网络的微表情识别方法，包括：

对待识别视频中微表情图像进行预处理，获取预处理后的微表情图像；

提取预处理后的微表情图像中的微表情时空特征；

将预处理后的微表情图像中的微表情时空特征输入到微表情识别模型中，对所述待识别视频中的微表情进行识别，其中，所述微表情识别模型由改进的深度堆叠网络模块和长短期记忆网络模块依次连接组成，改进的深度堆叠网络模块利用粒子群优化算法对深度堆叠网络进行优化实现，所述微表情识别模型由样本和标签进行训练后得到。

优选地，所述改进的深度堆叠网络模块利用粒子群优化算法对深度堆叠网络进行优化实现，包括：

所述改进的深度堆叠网络模块由若干层改进深度堆叠网络依次连接组成，所述改进深度堆叠网络通过粒子群优化算法替代深度堆叠网络中的梯度下降算法得到。

优选地，所述改进深度堆叠网络包括输入层、隐含层和输出层，其中，对于当前改进深度堆叠网络，所述当前改进深度堆叠网络的输入为所述微表情时空特征与所述当前改进深度堆叠网络之前的所有改进深度堆叠网络的输出拼接后得到。

优选地，所述当前改进深度堆叠网络的输入为所述微表情时空特征与所述当前改进深度堆叠网络之前的所有改进深度堆叠网络的输出拼接后得到，包括：