[发明专利]一种基于对抗消除的人脸表情识别方法

说明书

本发明涉及一种基于对抗消除的人脸表情识别方法，涉及计算机视觉领域。首先以一个深度卷积神经网络为基础，搭建人脸表情识别网络，在自然人脸表情数据集上，通过损失函数对该人脸表情识别网络进行训练，使人脸表情特征更容易被区分开；然后利用改进的对抗消除方法来主动地消除掉输入图像的部分关键特征，生成新的数据集来训练新的具有不同权重分布和特征提取能力网络，迫使网络依据更多的特征进行表情分类判别，降低了遮挡等干扰因素对于网络识别准确率的影响，提升了人脸表情识别网络的鲁棒性；最后采用网络集成和相对多数投票法获得最终表情分类的预测结果。本发明不仅提高人脸表情识别网络的准确率，而且有效地减少遮挡因素对网络的干扰。

技术领域

本发明涉及计算机视觉计算领域，尤其是一种基于对抗消除的人脸表情识别方法。

背景技术

随着深度学习的逐步发展和计算机视觉应用领域的不断扩大，基于实验室环境下的非自发人脸表情识别已经不再是一个挑战，学界研究的重点已经转向在自然条件下的人脸表情识别。自从第一届自然环境的人脸表情识别竞赛EMotiW举办以来，越来越多针对自然人脸表情识别的算法和高质量的自然人脸表情数据集被研究者提出。自然环境下的人脸表情会明显受到光照、遮挡以及任务自身姿态的变化的影响，在自然环境下提取有效的人脸面部表情特征已经成为目前人脸表情识别领域的主要难点之一。尽管自然人脸表情数据集更加贴近真实场景获取的人脸表情，但由于自然人脸表情数据集样本偏小，并且存在肤色、光照和遮挡等干扰因素，网络过拟合现象比较严重，对于一些关键特征不明显的图像，更易出现分类错误的情况。

目前，基于注意力机制的人脸表情识别网络在自然表情数据集上取得了不错的效果，但是基于注意力机制的人脸表情识别网络需要人为提供额外的输入图像，并且需要大量的注意力子网络对这些图像进行特征提取，在训练过程中，主干网络和子网络需要同时运行，因此对计算机资源占用较高。

发明内容

针对上述现有技术中存在的问题，本发明提供了一种基于对抗消除的人脸表情识别的方法，可以结合多种分类网络的互补性，提升网络识别的准确率，同时降低遮挡因素的影响。

为实现上述目的，本发明采用的技术方案是：一种基于对抗消除的人脸表情识别的方法，具有以下步骤：

步骤1：数据预处理

获取自然人脸表情数据集并且将数据集中图像分为训练集和测试集，先将输入图像进行数据归一化，并将图像大小放缩到固定尺寸，再对训练集图像进行数据归一化、水平翻转、图像旋转、图像裁剪等操作，得到预处理后的数据集。

步骤2：搭建人脸表情识别网络。

步骤2.1：在VGGNet、ResNet、MobileNet、DenseNet等卷积神经网络模型中，优选ResNet34模型作为人脸表情识别网络的主要网络结构。固定ResNet34模型除最后一层全连接层的所有层，把最后一层全连接层的输出个数改为人脸表情数据集的类别数n。

步骤2.2：对人脸表情识别网络进行预训练，导入Imagenet训练权重到修改过的ResNet34模型，记为人脸表情识别网络h_t。设初始人脸表情识别网络的序号t＝0。

步骤3：将数据集图像按照步骤1中方式进行预处理，将预处理后的图像输入到人脸表情识别网络，采用如下损失函数来训练人脸表情识别网络，当网络收敛后停止训练，得到对应的表情的类别预测输出；损失函数计算公式如下：

其中，批量大小和表情类别数分别为T和n，y_i表示第i个样本图像的类别标签，θ_j表示权重矩阵的第j列和特征之间的夹角，表示权重矩阵的第y_i列和特征之间的夹角，s和m分别表示特征尺度和附加角度边缘惩罚；