[发明专利]一种基于标签置信估计和多网络联合训练的表情识别方法

说明书

本发明提供的一种基于标签置信估计和多网络联合训练的表情识别方法，包含以电信号依次相连的四个模块，分别是可靠训练集初始化、多网络联合训练、标签修订和最终表情分类网训练，其中：可靠训练集初始化将原始的训练集划分为绝对可靠训练集和不可靠训练集，多网络联合训练将用于更新可靠训练集，标签修订将从不可靠训练集中筛选部分相对可靠样本修改其标签并加入到可靠训练集中，最终表情分类网训练将从可靠训练集中训练最终得到表情分类网。本发明较为精准地对噪声样本进行剔除或标签修正，成功抑制了表情识别中的不确定性，解决难样本和噪声样本难以区分的问题以及过拟合的影响。

技术领域

本发明属于表情识别技术领域。更具体地，涉及一种基于标签置信估计和多网络联合训练的人脸表情识别方法。

背景技术

面部表情作为最重要的非语言交流手段之一，可以传达自己内心的情感。心理学研究发现，人类有能力破译各种面部表情的含义，并将面部表情归类为基本情绪之一。为了使计算机理解各种面部表情，人脸表情识别已经成为计算机视觉领域的研究热点之一。

深度卷积神经网络仿造生物的视觉感知机制构建，可以进行有监督学习和无监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量提取格点化特征。深度卷积神经网络在人脸识别等计算机视觉任务上取得巨大成功后，VGG、GoogLeNet和ResNet等经典的模型也被直接应用表情识别中。

由于数据集标注者的主观性、图像的质量缺陷以及表情固有的混淆性而导致的模型性能下降，在自然场景下的大规模表情识别数据集中尤为显著，导致这些数据集具有较高的不确定性，妨碍了基于卷积深度神经网络和有监督学习的面部表情识别方法的进一步提升。现有表情识别方法对不确定性的抑制本质都是通过不同的方式估计样本的标签置信度，然后通过标签置信度来决定样本在计算损失时的权重或者决定样本是否保留在训练集中。这些方法普遍没有对标签错误、图像质量缺陷和表情的固有混淆性这三种成因和影响过程都完全不同的情况针对性处理，因此对自然场景下表情识别中不确定性的抑制不尽人意。

发明内容

本发明所要解决的技术问题是：针对现有技术的缺陷或改进需求，提供一种基于标签置信估计和多网络联合训练的表情识别方法，通过抑制表情数据集中的不确定性，使用多网络联合训练的方式从而有效提高表情分类精度。

本发明解决其技术问题采用以下的技术方案：

本发明提供的基于标签置信估计和多网络联合训练的表情识别方法，包含以电信号依次相连的四个模块，分别是可靠训练集初始化、多网络联合训练、标签修订和最终表情分类网训练，其中：可靠训练集初始化将原始的训练集划分为绝对可靠训练集和不可靠训练集，多网络联合训练将用于更新可靠训练集，标签修订将从不可靠训练集中筛选部分相对可靠样本修改其标签并加入到可靠训练集中，最终表情分类网训练将从可靠训练集中训练最终得到表情分类网。

进一步地，所述可靠训练集初始化采用N折交叉验证和第一卷积神经网络；

所述N折交叉验证的具体实现步骤为：将所述原始的训练集均匀分为N份，取其中第一份作为验证集，其余所有数据为训练集；将训练集输入第一卷积神经网络训练，再将验证集输入训练好的第一卷积神经网络得到验证集样本的预测结果；

重复上述步骤N次，其中第k次执行取第k份数据作为验证集，最终使得所有样本作为验证数据一次，k＝2，3，……，N。

进一步地，第一卷积神经网络的主干网采用ResNet-18，并在人脸数据集MS-Celeb-1M上进行预训练。

进一步地，所述绝对可靠训练集和不可靠训练集的划分方法为：将预测结果与真实标签一致的样本加入到绝对可靠训练集D₀，将预测结果与真实标签不一致的样本加入到不可靠训练集D2。

进一步地，所述多网络联合训练采用表情分类网和置信估计网络，包括以下步骤：