[发明专利]一种基于深度残差注意力网络的视频表情识别方法

说明书

本发明公开了一种基于深度残差注意力网络的视频表情识别方法，包括以下步骤：S1、对视频样本进行视频数据预处理；S2、采用深度残差注意力网络进行人脸图像的表情特征提取；S3、对步骤S2中提取后的特征进行一定处理后再进行训练和测试，并输出最终的人脸表情的分类结果。本发明采用空间注意力机制实现，通过对输入的特征图生成空间分布上的权重，然后再与特征图加权求和，从而监督网络学习给人脸图像中与表情密切相关的不同区域分配不同的注意力（权重），能够聚焦于人脸图像中与表情密切相关的目标区域的特征学习，从而改善深度残差网络的特征表征能力，进一步提高视频表情识别的性能。

技术领域

本发明涉及图像处理、模式识别的技术领域，尤其涉及一种基于深度残差注意力网络的视频表情识别方法。

背景技术

人与人之间的交流是富有情感的，情感的表达是人最原始的本能，情感的基本元素就是多种表情的聚合物。以往人们通过文字或照片来记录自己的生活。现在大多以视频博客、短视频等方式记录下重要的回忆和情绪的表达，如喜怒哀乐。

特征提取是视频表情识别的一个重要环节。在早期的视频表情识别中，研究者大多采用手工特征用于视频表情的分类。其中，代表性的手工特征主要包括：局部二值模式(LBP)、局部相位量化(LPQ)、梯度方向直方图(HOG)和尺度不变特征(SIFT)等。在动态的视频序列表情识别中，这些方法被更新为LBP-TOP、LPQ-TOP和3D-SIFT。虽然手工特征在视频表情识别领域得到了广泛的应用，但依旧属于低层次的特征。在视频情感识别中，视频含有丰富的情感信息，需要高层次的深度特征进行表达，而手工特征与高层次的主观性情感存在“语义鸿沟”的问题。

为了解决上述手工特征的不足之处，近年来研究者们提出了一系列深度神经网络用于视频表情中的识别。其中，代表性的深度神经网络模型包括：在2012年Imagenet图像分类比赛中获得第一名的AlexNet、通过加深网络层数来提高网络性能的VGG、利用Inception模块加宽网络结构提高网络性能的GoogleNet以及利用残差模块中的恒等映射原理加深网络层数来提升网络性能的深度残差网络ResNet。目前，研究者们已经尝试将上述网络用于视频表情识别，并取得了不错的效果。

虽然现有的深度神经网络拥有较强的特征提取能力，但是忽略了图像中各局部区域情感表示强度方面的差异性，从而限制了深度神经网络的特征表征能力，即现有的深度神经网络没有考虑人脸图像中各局部区域情感表示强度方面的差异性。

例如，一种在中国专利文献上公开的“一种基于混合深度学习的视频序列表情识别方法”(公告号CN201810880749.8)，采用两个深度卷积神经网络模型，即时间卷积神经网络和空间卷积神经网络，分别从视频表情序列中提取高层次的时间特征和空间特征，然后采用深度信念网络实现时空特征的深度融合，并做平均池化运算，得到视频序列的全局特征，最后采用支持向量机实现视频表情序列的分类，该方法充分利用视频序列中的时空域信息，但没有考虑到人脸图像中各局部区域情感表示强度方面的差异性，未考虑到视频中的手工特征与主观性情感之间存在语义鸿沟的问题。

发明内容

本发明是为了克服现有技术中的视频表情识别没有考虑到人脸图像中各局部区域情感表示强度方面的差异性，未考虑到视频中的手工特征与主观性情感之间存在语义鸿沟的技术问题，提供一种基于深度残差注意力网络的视频表情识别方法，采用空间注意力机制实现，通过对输入的特征图生成空间分布上的权重，然后再与特征图加权求和，从而监督网络学习给人脸图像中与表情密切相关的不同区域分配不同的注意力(权重)，能够聚焦于人脸图像中与表情密切相关的目标区域的特征学习，从而改善深度残差网络的特征表征能力，进一步提高视频表情识别的性能。

为了实现上述目的，本发明采用以下技术方案：

一种基于深度残差注意力网络的视频表情识别方法，所述方法包括以下步骤：

S1、对视频样本进行视频数据预处理；