[发明专利]基于自适应权重的类间关系的半监督多标签图像分类方法

说明书

本发明公开了一种基于自适应权重的类间关系的半监督多标签图像分类方法；对预先获取的图像进行归一化操作，构建包括有监督数据和无监督数据的半监督分类数据集；构建包括原始分类器、类相关分类器以及权重计算模块的权重计算和预测融合模型；并训练分类器以及权重计算模块；采用训练好的权重计算和预测融合模型预测图像分类结果。本发明能够在有效时间内训练权重计算和预测融合模型并预测目标图像分类结果，同时可迁移到多种主流的基于类间关系的多标签分类模型，实现简单，适合实际应用环境，具有可观的使用价值。

技术领域

本发明属于图像分类领域，特别涉及一种基于自适应权重的类间关系的半监督多标签图像分类方法。

背景技术

深度学习的发展对特征学习与分类任务性能的提高有着重要的意义。但是，训练深度网络需要大量的带标签的样本，在实际应用中大部分可利用的样本缺少类别标签，这使得分类训练显得尤为困难。面对这一困难，通常的做法是从少量有标签的样本中训练一个有效的分类器，并为无标签的样本添加合理的辅助信息利用。半监督学习是当前计算机视觉领域中有前景的研究课题之一。近年来半监督图像分类的研究工作越来越多，从优化方法的角度大致可分为以下两类：(1)熵最小化方法；(2)一致性正则化方法。熵最小化方法是通过最小化模型预测的熵得到。模型从有监督数据从无监督数据集中逐渐挑选置信度较高的无监督数据打伪标签并添加到有监督训练集中，从而实现对无监督数据的利用并提高模型泛化性能；这类方法建立在无监督数据、有监督数据与测试集的分布相似，以及简单的无监督样本可以被基于有监督数据训练的模型正确标注的假设上，通过增加样本数量提高泛化性。这类方法可以利用无监督数据，但如何既能利用到足够数量的无监督数据又能保证这些伪标签的高准确率和置信度是需要不断探索和尝试的问题。一致性正则化方法则是通过利用数据不变性提升模型的表征能力。近年来深度学习的表征能力有所增强，有不少研究人员利用同一个图像在多个模型之间，或同一个图像的多个数据增强版本在一个模型之间的一致性对模型进行约束，希望模型对于同一个数据的多个增强版本或加入了噪声的图像能预测到与原始图像相同的结果，进而提高模型的表征能力以适用于测试集的分类。这类方法近年来在计算机视觉应用中有明显的效果，但对于不同的计算机视觉任务，如何更加充分地挖掘一致性信息需要更多的探索。

不同于单标签多分类问题，现实中的自然图像多标签分类问题，多个类的物体经常同时出现在同一个图像中，这增大了学习单标签半监督学习的熵最小化的难度，并限制了一致性约束的设计方式。同时，近年来基于类间关系的多标签图像分类方法占有主导地位，而如果没有足够的监督数据，类间关系知识会变得不可信，损伤模型泛化性和测试时的精度。同时，目前多标签分类方法的类间关系大多存在长尾分布问题，即对于共现关系不典型的图像，类间关系反而会对原始预测破坏造成错误的预测。

针对上述两类半监督方法以及基于类间关系的多标签分类方法的不足之处，本发明提出的基于自适应权重的类间关系的半监督多标签图像分类方法，考虑学习一个更加自适应类间关系权重，并基于自适应权重的类间关系对原始与基于类间关系的两个分类预测结果间添加一致性约束互相其帮助学习，利用类间关系预测与原始分类预测和权重对无监督数据定义更加鲁棒的伪标签及一致性约束，进而增加模型泛化性并提高图像分类精度。

发明内容

发明目的：本发明为了解决半监督学习在多标签图像分类的问题，提出了一种基于自适应权重的类间关系的半监督多标签图像分类方法，有效利用训练集有监督和无监督的样本，结合类间关系预测与原始预测，实现对目标图像的分类并提高模型在测试集上的分类精度。

技术方案：本发明所述的一种基于自适应权重的类间关系的半监督多标签图像分类方法，具体包括以下步骤：

(1)图像预处理：对预先获取的图像进行归一化操作，构建包括有监督数据和无监督数据的半监督分类数据集；

(2)构建权重计算和预测融合模型；所述模型包括原始分类器、类相关分类器以及权重计算模块组成，采用主流的基于类间共现关系的多标签分类模型中的原始分类器和类相关分类器，权重计算模块用多层感知机实现，加入对分类器和权重计算模块的各个约束损失函数；