[发明专利]一种基于标签置信估计和多网络联合训练的表情识别方法

权利要求书

1.一种基于标签置信估计和多网络联合训练的表情识别方法，其特征是包含以电信号依次相连的四个模块，分别是可靠训练集初始化、多网络联合训练、标签修订和最终表情分类网训练，其中：可靠训练集初始化将原始的训练集划分为绝对可靠训练集和不可靠训练集，多网络联合训练将用于更新可靠训练集，标签修订将从不可靠训练集中筛选部分相对可靠样本修改其标签并加入到可靠训练集中，最终表情分类网训练将从可靠训练集中训练最终得到表情分类网。

2.如权利要求1所述的基于标签置信估计和多网络联合训练的表情识别方法，其特征在于，可靠训练集初始化采用N折交叉验证和第一卷积神经网络；

所述N折交叉验证的具体实现步骤为：将所述原始的训练集均匀分为N份，取其中第一份作为验证集，其余所有数据为训练集；将训练集输入第一卷积神经网络训练，再将验证集输入训练好的第一卷积神经网络得到验证集样本的预测结果；

重复上述步骤N次，其中第k次执行取第k份数据作为验证集，最终使得所有样本作为验证数据一次，k＝2，3，……，N。

3.如权利要求2所述的基于标签置信估计和多网络联合训练的表情识别方法，其特征在于，第一卷积神经网络的主干网采用ResNet-18，并在人脸数据集MS-Celeb-1M上进行预训练。

4.如权利要求1所述的基于标签置信估计和多网络联合训练的表情识别方法，其特征在于，所述绝对可靠训练集和不可靠训练集的划分方法为：将预测结果与真实标签一致的样本加入到绝对可靠训练集D₀，将预测结果与真实标签不一致的样本加入到不可靠训练集D₂。

5.如权利要求1所述的基于标签置信估计和多网络联合训练的表情识别方法，其特征在于，所述多网络联合训练采用表情分类网和置信估计网络，包括以下步骤：

(1)样本特征和类特征提取：

采用可靠训练集D₁和表情分类网训练模型，用于提取数据集中所有样本的样本特征和类特征；

所述可靠训练集D₁未知时，采用绝对可靠训练集D₀初始化；

所述表情分类网采用第二卷积神经网络，第二卷积神经网络用可靠训练集D₁进行训练；第二卷积神经网络采用同第一卷积神经网络相同的网络结构和预训练方式；

所述样本的样本特征和类特征从第二卷积神经网络中提取得到；

(2)置信网训练集构建：

用于对绝对可靠训练集D₀中的样本根据步骤(1)所述的样本特征和类特征生成正样例集和负样例集

所述正、负样例集的具体生成方法为：对D₀中任一样本，用步骤(1)获取的样本特征与第c类类特征拼接，其中c为该样本的标签，所有拼接结果作为正样例集对D₀中任一样本，用步骤(1)获取的样本特征与第c^-类特征进行拼接，其中c^-为不等于c的所有其它类，所有拼接结果作为负样例集

(3)置信网训练：

用于根据步骤(2)所述的正负样例集训练置信网，输出不可靠训练集D₂中所有样本的置信分数；

所述置信网采用多层感知机(简称MLP)，由六层全连接网络构成，前五层的激活函数为ReLU，第六层的激活函数为sigmoid函数；该网络通过逐步的降维，利用全连接神经网络的强大的非线性拟合能力，充分根据样本特征和类别特征中的信息，以及二者之间的关联，判断给该类作为该样本的标签的合理性，以估计标签置信度；

所述样本的置信分数为：对D₂中的任一样本，根据步骤(1)提取的样本特征和第c类特征的拼接，其中c为样本的标签，输入所述置信网，其最后一个全连接层的输出即样本的置信分数；

(4)可靠训练集更新：

用于根据步骤3所述置信分数更新可靠训练集D₁；

所述可靠训练集更新的具体方法为，若D₂中的样本的置信分数大于阈值T₁，则加入训练集D₁；阈值T₁用来确定是否应将样本添加到训练子集中；

(5)迭代训练：

用于重复执行所述步骤(1)～(4)，进一步更新训练集D₁；

迭代训练的停止条件为达到预设的迭代次数或不再向训练集D₁添加更可靠的样本。