[发明专利]基于神经网络的微表情识别方法、系统、设备及存储介质

权利要求书

1.一种基于神经网络的微表情识别方法，其特征在于，包括：

对待识别视频中微表情图像进行预处理，获取预处理后的微表情图像；

提取预处理后的微表情图像中的微表情时空特征；

将预处理后的微表情图像中的微表情时空特征输入到微表情识别模型中，对所述待识别视频中的微表情进行识别，其中，所述微表情识别模型由改进的深度堆叠网络模块和长短期记忆网络模块依次连接组成，改进的深度堆叠网络模块利用粒子群优化算法对深度堆叠网络进行优化实现，所述微表情识别模型由样本和标签进行训练后得到。

2.根据权利要求1所述的基于神经网络的微表情识别方法，其特征在于，所述改进的深度堆叠网络模块利用粒子群优化算法对深度堆叠网络进行优化实现，包括：

所述改进的深度堆叠网络模块由若干层改进深度堆叠网络依次连接组成，所述改进深度堆叠网络通过粒子群优化算法替代深度堆叠网络中的梯度下降算法得到。

3.根据权利要求1所述的基于神经网络的微表情识别方法，其特征在于，所述改进深度堆叠网络包括输入层、隐含层和输出层，其中，对于当前改进深度堆叠网络，所述当前改进深度堆叠网络的输入为所述微表情时空特征与所述当前改进深度堆叠网络之前的所有改进深度堆叠网络的输出拼接后得到。

4.根据权利要求3所述的基于神经网络的微表情识别方法，其特征在于，所述当前改进深度堆叠网络的输入为所述微表情时空特征与所述当前改进深度堆叠网络之前的所有改进深度堆叠网络的输出拼接后得到，包括：

对于第i个改进深度堆叠网络，当i2时，第i个改进深度堆叠网络输入层的输入为所述微表情时空特征、前i-2个改进深度堆叠网络的输出，第j个改进深度堆叠网络隐含层的输入为第i个改进深度堆叠网络输入层的输出和第i-1个改进深度堆叠网络的输出；

当i＝2时，第2个改进深度堆叠网络输入层的输入为所述微表情时空特征，第2个改进深度堆叠网络隐含层的输入为第2个改进深度堆叠网络输入层的输出和第1个改进深度堆叠网络的输出；

当i＝1时，第1个改进深度堆叠网络输入层的输入为所述微表情时空特征，第1个改进深度堆叠网络隐含层的输入为第1个改进深度堆叠网络输入层的输出。

5.根据权利要求1至4任一所述的基于神经网络的微表情识别方法，其特征在于，所述对待识别视频中微表情图像进行预处理，获取预处理后的微表情图像，包括：

通过主动形状模型算法对所述待识别视频的首帧微表情图像进行关键点获取，得到人脸关键点；

以所述首帧微表情图像的人脸关键点为基准，通过局部加权平均算法，对所述待识别视频的其它微表情图像进行差异化处理，获取处理后的微表情图像；

基于时域插值模型，对处理后的微表情图像进行去冗余处理，获取预处理后的微表情图像。

6.根据权利要求1至4任一所述的基于神经网络的微表情识别方法，其特征在于，所述提取预处理后的微表情图像中的微表情时空特征，包括：

创建三维特征坐标xy、xt和yz，其中，xy表示纹理特征，xt表示时间特征，yz表示空间特征；

对于任一帧微表情图像，基于三个正交平面的局部二值模式(Local Binary Patternsfrom Three Orthogonal Planes，简称LBP_TOP)算法，计算所述任一帧微表情图像在每一坐标面的局部二值模式(Local Binary Patterns，简称LBP)特征；

通过串联特征拼接方式对每一坐标面的LBP特征进行拼接，获取所述任一帧图像的微表情时空特征。

7.根据权利要求1至4任一所述的基于神经网络的微表情识别方法，其特征在于，所述微表情识别模型具体训练方法为批量模式的梯度下降法。