[发明专利]一种最大熵约束的类别软标签识别训练方法

说明书

本发明公开一种最大熵约束的类别软标签识别训练方法，方法包括如下步骤：S1.首先在一个含噪声的网络数据集D上训练深度网络模型，通过交叉损失函数得到次有的模型；S2.基于软标签的类别正则化策略，来获取每个类别的软标签；S3.采用类别正则优化策略后，获取每个类别的软标签，利用类别软标签从实例的角度，进行噪声净化。本发明中的方法首先使用了最大熵正则化方法，使模型输出的标签变得平滑并以此估计每个类别的软标签，软标签能指导模型学习类别间的相似性，以促进细粒度分类性能的提升。

技术领域

本发明涉及细粒度图像识别技术领域，具体为一种最大熵约束的类别软标签识别训练方法。

背景技术

细粒度识别算法的发展过程中有大量的算法涉及了目标和关键部位提取的操作。然而此类方法往往不适用于网络图像，其原因是两方面的：1）标签噪声的存在，尤其是分布外噪声图像的存在，对提取目标和关键部位造成了严重的困难，如果提取出的关键部位是错误的，那么模型会被错误信息误导，同时破坏部位提取算法和分类算法的性能，最终使此类基于目标和关键部位的细粒度识别算法无法发挥原有的性能；2）目标和关键部位提取增加了算法的复杂性，往往要训练一个额外的辅助模型，考虑到模型还需要同时应用标签噪声处理算法，过多甚至冗余的算法步骤会降低模型的效率和实用性。考虑到上述缺点，本发明提出了更加灵活轻便的细粒度识别算法，使其适用于网络监督训练。

现有的标签噪声处理算法中噪声净化算法能明确地识别并处理各个噪声样本，然而它们大部分都是在人工合成的噪声数据集上设计并测试的，一定程度上缺乏了实用性。噪声鲁棒算法则避免了识别噪声样本这一操作，使用鲁棒函数和正则化方法等方式来降低标签噪声的影响，达到鲁棒训练的结果，然而由于标签噪声没有被显示地丢弃，其不可避免地仍会对模型训练有一定的影响；

所以需要针对上述问题进行改进。

发明内容

本发明的目的在于提供一种最大熵约束的类别软标签识别训练方法，以解决上述背景技术提出的问题。

为实现上述目的，本发明提供如下技术方案：一种最大熵约束的类别软标签识别训练方法，其适用于网络监督训练，细粒度图像识别，能够对分布外噪声进行标签，提高模型的效率和实用性，所述学习方法包括如下步骤：

S1.首先在一个含噪声的网络数据集D上训练深度网络模型，通过交叉损失函数得到次有的模型；

S2.基于软标签的类别正则化方法，来获取每个类别的软标签，其具体的方法步骤为：

S21.借助概率分布预测对软标签进行预测；

S22.采用指数平滑来缓解模型预测结果不稳定导致的软标签波动；

S23. 获取软标签后，使用周期估计出的软标签来监督周期的训练过程，利用训练损失函数提升细粒度识别任务的分类准确率；

S24.采用最大熵约束来引导模型输出更加平滑的预测概率分布；

S3.采用类别正则优化方法后，获取每个类别的软标签，利用类别软标签从实例的角度，利用类别软标签进行噪声净化，具体步骤为：

S31.首先，采用 JS 散度来度量每个样本的概率分布和它对应的类别软标签之间的距离，并以此作为噪声识别准则；

S32.使用一个阈值，根据JS散度距离来区分干净和噪声样本；

S33.在模型的预处理阶段结束后，实例噪声净化根据阈值将每个训练集中的小批次数据划分为干净批和噪声批；

S34.完成标签噪声识别后，先计算噪声样本的概率分布与期预测类别的软标签之间的JS散度距离，

S35.再使用一个硬阈值，在噪声批中进一步筛选可重标注的样本；