[发明专利]基于时空运动增强网络的动态表情识别方法及系统

说明书

本发明公开了一种基于时空运动增强网络的动态表情识别方法及系统，包括以下步骤：获取含有表情图像的视频序列；将所述视频序列输入至Resnet‑Emotion网络中，得到表情的空间特征；将所述空间特征输入至递归精炼单元网络，得到表情的运动特征；将所述运动特征输入至门控循环单元网络，得到表情的时间特征，完成动态表情的识别。本发明在经过表情数据集预训练的Resnet‑Emotion网络的基础上，实现了增强每个视频帧的表情运动特征与挖掘表情的时间信息的动态表情识别，解决了目前动态表情识别方法中存在的忽略表情视频的运动特性的问题。

技术领域

本发明涉及计算机视觉技术领域，具体涉及基于时空运动增强网络的动态表情识别方法及系统。

背景技术

随着人脸表情识别理论的不断完善和人工智能技术的发展，人脸表情识别领域受到了广泛的关注。表情识别主要分成两种方法：基于静态图像的表情识别方法和基于动态视频的表情识别方法。在基于动态视频的表情识别方法中，由于人脸的光照、遮挡和头部姿态与自然环境类似，如果表情识别模型能够关注到人脸表情的局部运动细节并突出这些运动细节特征，无疑能够提高视频表情识别的准确性。而在视频中这些局部运动细节表现为上下帧之间的运动区域，如何利用视频中的运动特性表征人脸表情的连续性成为了动态表情识别的重点与难点。

发明内容

针对现有技术的不足，本发明的目的在于提供一种基于时空运动增强网络的动态表情识别方法及系统，以解决现有技术中存在的视频表情识别模型忽略了表情视频的运动特性的问题。

为达到上述目的，本发明所采用的技术方案是：

一种动态表情识别方法，包括以下步骤：

获取含有表情图像的视频序列；

将所述视频序列输入至Resnet-Emotion网络中，得到表情的空间特征；

将所述空间特征输入至递归精炼单元网络，得到表情的运动特征；

将所述运动特征输入至门控循环单元网络，得到表情的时间特征，完成动态表情的识别。

进一步的，所述运动特征的获取过程如下：

获取视频序列中当前帧的原始空间特征、上一帧的原始空间特征及上一帧经递归精炼单元网络输出的运动特征；

将当前帧的原始空间特征、上一帧的原始空间特征及上一帧经递归精炼单元网络输出的运动特征同时输入至递归精炼单元网络，经递归精炼单元网络中的更新门模型处理后，得到整体注意力图；

将所述整体注意力图输入至sigmoid函数，由递归精炼单元网络输出当前帧的运动特征。

进一步的，所述更新门模型包括过渡层、空间注意力模型和通道注意力模型；所述空间注意力模型、通道注意力模型均与过渡层连接。

进一步的，所述更新门模型的处理过程如下：

将当前帧的原始空间特征、上一帧的原始空间特征及上一帧经递归精炼单元网络输出的运动特征同时输入至过渡层，经过渡层产生第一空间特征；

将所述第一空间特征输入至空间注意力模型，经空间注意力模型得到空间注意图；

将所述第一空间特征输入至通道注意力模型，经通道注意力模型得到通道注意图；

将所述空间注意图与通道注意图相乘得到整体注意力图。

进一步的，所述过渡层包括依次设置的卷积层、批归一化层和ReLU激活函数；所述空间注意力模型包括依次设置的全局跨通道平均池层、第一全连接层、第二全连接层；所述通道注意力模型包括依次设置的全局空间平均池层和全连接层。

进一步的，所述空间注意图为：