[发明专利]一种基于深度残差注意力网络的视频表情识别方法

权利要求书

1.一种基于深度残差注意力网络的视频表情识别方法，其特征在于，所述方法包括以下步骤：

S1、对视频样本进行视频数据预处理；

S2、采用深度残差注意力网络进行人脸图像的表情特征提取；

S3、对步骤S2中提取后的特征进行一定处理后再进行训练和测试，并输出最终的人脸表情的分类结果。

2.根据权利要求1所述的一种基于深度残差注意力网络的视频表情识别方法，其特征在于，所述步骤S1包括以下步骤：

S1.1、首先对每一个视频样本，筛选出apex时期的图像帧；

S1.2、采用haar-cascades检测模型进行人脸检测。

3.根据权利要求2所述的一种基于深度残差注意力网络的视频表情识别方法，其特征在于，所述步骤S1.2中的人脸检测包括以下步骤：

步骤1、首先将输入的图片转为灰度图像，去除色彩干扰；

步骤2、设置搜索人脸框的大小，依次在输入图像中寻找人脸，找到人脸后截取后保存；

步骤3、根据两只眼睛之间的标准距离大小，从原始人脸表情图像中裁剪出包含嘴巴、鼻子、额头等关键表情部位的图像，作为深度残差注意力网络的输入。

4.根据权利要求1所述的一种基于深度残差注意力网络的视频表情识别方法，其特征在于，所述步骤S2包括以下步骤：

S2.1、建立深度残差注意力网络，并对预处理后的视频数据提取每一帧人脸图像的特征，建立视频情感数据集；

S2.2、利用其它数据集上预训练好的模型对所述的视频表情数据集进行微调训练。

5.根据权利要求4所述的一种基于深度残差注意力网络的视频表情识别方法，其特征在于，所述深度残差注意力网络包括三个残差注意模块，所述残差注意模块包括主干分支和掩膜分支，所述主干分支包括残差单元。

6.根据权利要求4所述的一种基于深度残差注意力网络的视频表情识别方法，其特征在于，所述步骤S2.2包括以下步骤：

步骤1、拷贝在cifar-10数据集上预训练好的深度残差注意力网络模型参数；

步骤2、将cifar-10的10类图像类别数目改为视频情感数据集的表情类别数目；

步骤3、使用反向传播算法重新训练该网络模型，以更新网络模型的权重参数；

步骤4、微调训练结束后，将深度残差注意力网络最后一层全连接层的输出作为学习到的高层次人脸表情特征，用于后续多层感知器的表情分类。

7.根据权利要求6所还的一种基于深度残差注意力网络的视朔表情识别万法，具特征在于，所述步骤S2.2中微调训练的流程具体如下公式所示：

X＝{x_i|(i＝1，2，...，N)} (1)

minH(P(x_i)，y_i)＝-∑_x(P(x_i)logy_i) (2)

其中：i代表该视频中的第i帧图片，x_i代表第i帧的人脸图像，y_i表示该视频的表情标签，H表示最小化损失函数，P(x_i)代表输入人脸图像x_i时网络模型的输出预测值。

8.根据权利要求5所述的一种基于深度残差注意力网络的视频表情识别方法，其特征在于，所述残差注意模块由如下公式表示：

其中，所述表示残差注意模块输出特征，表示主干分支征输出特征，表示掩膜分支输出特征，(i，k)为特征的空间位置坐标，c∈{0，1，…，C}为特征通道的索引值。

9.根据权利要求1所述的一种基于深度残差注意力网络的视频表情识别方法，其特征在于，所述步骤S3包括以下步骤：完成视频中每一帧人脸图像的特征提取之后，对一个视频中所有帧图像学习到的注意力特征进行平均池化操作，计算出固定长度的全局性视频表情特征参数，将所述全局性视频表情特征参数输入到多层感知器进行训练和测试，获得人脸表情的分类结果。