[发明专利]一种基于对抗消除的人脸表情识别方法

权利要求书

1.一种基于对抗消除的人脸表情识别方法，其特征在于，包括以下步骤：

步骤1：数据预处理，获取自然人脸表情数据集并且将数据集中的图像作为输入图像，对输入图像进行预处理得到预处理后的数据集；

步骤2：搭建人脸表情识别网络；

步骤3：将数据集图像按照步骤1中方式进行预处理，将预处理后的图像输入到人脸表情识别网络，并采用损失函数对网络进行训练，当网络收敛后停止训练，得到对应的表情的类别预测输出；

步骤4：采用改进的对抗消除方法来生成多个具有不同权重分布的人脸表情识别子网络，使用改进的对抗消除方法可以让每个子网络的训练数据集不同，使子网络可以提取到不同的表情特征，从而使生成的网络具有多样性和互补性；

步骤5：将多个子网络进行网络集成，根据从多个子网络处获得的多个表情预测分类做出最终的分类判别；

所述改进的对抗消除算法，包括以下步骤：

步骤5.1：使用如下方法对人脸表情识别网络h_t进行类激活映射，对训练集中任意一张输入图像x，生成其在对应目标类别c下的热力图设最后的卷积层输出的第k张特征图为A^k，表示特征图A^k上的点(i,j)，定义A^k对特定表情类别c的权重为则的获取方式如下：

其中权重的计算公式为：

上述公式中，relu为激活函数，为目标类别c和A^k的梯度权重；Y^c为目标类别c的得分；

步骤5.2：设置阈值G，G为中的最大值；保留中值等于G的目标区域，并将其余区域的值置为0；将上采样到输入图像大小，获取输入图像x所对应的关键目标区域R_x；

步骤5.3：计算训练集所有图像的平均像素，用平均像素替换训练集中图像x对应的关键目标区域R_x内的像素，从而将人脸表情识别网络做出分类判别的关键目标区域从训练图像中擦除，生成新的训练集；

步骤5.4：将人脸表情识别网络的序号t赋值为t+1，按照步骤2生成新的人脸表情识别网络h_t，将新生成的训练集和原有测试集按照步骤3的方法送到h_t中进行训练，当模型达到收敛后结束训练；

步骤5.5：比较子网络h_t和初始人脸表情识别网络h₀在测试集上的准确率，当准确率相差不大于5％时，重复步骤5.1至步骤5.5生成新的子网络；当准确率相差大于5％时，丢弃子网络h_t，并令z＝t-1，最终得到z个生成的子网络：h₁,h₂,...,h_z-1,h_z。

2.根据权利要求1所述基于对抗消除进行人脸表情识别的方法，其特征在于：所述预处理具体指，先将输入图像进行数据归一化，并将图像大小放缩到固定尺寸，再对训练集图像进行数据归一化、水平翻转、图像旋转、图像裁剪操作，得到预处理后的数据集。

3.根据权利要求1所述基于对抗消除的人脸表情识别方法，其特征在于：所述搭建人脸表情识别网络，包括以下步骤：

步骤3.1：在VGGNet、ResNet、MobileNet、DenseNet卷积神经网络模型中，选择ResNet34模型作为人脸表情识别网络的主要网络结构；固定ResNet34模型除最后一层全连接层的所有层，把最后一层全连接层的输出个数改为人脸表情数据集的类别数n；

步骤3.2：对人脸表情识别网络进行预训练，导入自然表情数据集RAF-DB训练权重到修改过的ResNet34模型，记为人脸表情识别网络h_t；设初始人脸表情识别网络序号t＝0。

4.根据权利要求1所述基于对抗消除的人脸表情识别方法，其特征在于：所述的损失函数的计算公式如下：

其中，批量大小和表情类别数分别为T和n，y_i表示第i个样本图像的类别标签，θ_j表示权重矩阵的第j列和特征之间的夹角，表示权重矩阵的第y_i列和特征之间的夹角，s和m分别表示特征尺度和附加角度边缘惩罚。

5.根据权利要求1所述基于对抗消除的人脸表情识别方法，其特征在于：所述的网络集成方法为：将z+1个人脸表情识别网络h₀,h₁,h₂,...,h_z-1，h_z进行网络集成，然后将网络h_β在输入图像x上的预测输出表示为一个n维向量其中，网络h_β表示网络h₀到网络h_z的任意一个网络；然后采用相对多数投票方法对所有网络的输出向量进行分类判别，获得分类预测结果H(x)，即预测结果为得票分数最高的类别，若同时有多个类别获得最高分数，则从中随机选取一个类别；相对多数投票法的公式如下：

其中是网络h_β在类别c_j上的输出。