[发明专利]一种最大熵约束的类别软标签识别训练方法

权利要求书

1.一种最大熵约束的类别软标签识别训练方法，其特征在于，包括如下步骤：

S1.首先在一个含噪声的网络数据集D上训练深度网络模型，通过交叉损失函数得到次有的模型；

S2.基于软标签的类别正则化方法，来获取每个类别的软标签，其具体的方法步骤为：

S21.借助概率分布预测对软标签进行预测；

S22.采用指数平滑来缓解模型预测结果不稳定导致的软标签波动；

S23.获取软标签后，使用t-1周期估计出的软标签S^t-1来监督周期t的训练过程，利用训练损失函数提升细粒度识别任务的分类准确率；

S24.采用最大熵约束来引导模型输出更加平滑的预测概率分布；

S3.采用类别正则优化方法后，获取每个类别的软标签，利用类别软标签从实例的角度，利用类别软标签进行噪声净化，具体步骤为：

S31.首先，采用JS散度来度量每个样本的概率分布和它对应的类别软标签之间的距离，并以此作为噪声识别准则；

S32.使用一个阈值，根据JS散度距离来区分干净样本和噪声样本；

S33.在模型的预处理阶段结束后，实例噪声净化根据阈值将每个训练集中的小批次数据划分为干净批和噪声批；

S34.完成标签噪声识别后，计算噪声样本的概率分布与期预测类别的软标签之间的JS散度距离；

S35.使用一个硬阈值，在噪声批中进一步筛选可重标注的样本；

S36.将筛选的重标注的样本放入噪声批中，进行进一步地筛选，其余样本直接丢弃，不参与训练；

在S1中，网络数据集为D＝{(x_i，y_i)|1≤i≤N}，其中x_i和y_i分别表示第i个训练样本和对应的网络标签，N代表样本总数；独热分布形式的网络标签y_i的标签分布q表示为q(c＝y_i|x_i)＝1，q(c≠y_i|x_i)，深度神经网络对于每个输入的样本x_i产生一个概率分布预测p(c|x_i)，其中c表示第c类类别；每个训练样本的概率分布预测p(c|x_i)与其标签分布q之间的交叉熵损失函数为：

C表示类别总数；

在S23中，获取软标签后，使用t-1周期估计出的软标签S^t-1来监督周期t的训练过程，软标签训练损失函数如下：

软标签损失函数L_Soft为非目标的类别分配了权重；

在S24中，通过最大熵约束来引导模型输出更加平滑的预测概率分布，其公式为：

最大熵约束L_ME的目的是增加预测概率分布p(x_i)的熵。

2.根据权利要求1所述的一种最大熵约束的类别软标签识别训练方法，其特征在于，在S2中，定义软标签S＝{S⁰，S¹，…，S^t，…，S^T-1}为T个训练周期中各个类别的软标签集合，对于每个训练周期t，软标签集合S^t是一个C×C的矩阵，其每列分别对应一个类别的软标签；软标签S⁰初始化为零矩阵，并在训练过程中动态更新；对于每个输入样本x_i，当其预测结果与对应的标签y_i一致，那么类别y_i的软标签会借助预测的概率分布p(x_i)以如下方式更新：

M是预测结果与标签y_i一致的样本数；

为了让估计到的软标签S^t更加稳定，采用指数平滑方法来融合以往训练周期的软标签估计结果，公式如下：

其中，m表示为控制以往结果权重大小的动量。