[发明专利]基于直推式半监督深度学习的多标签图像分类方法

说明书

本发明公开的基于直推式半监督深度学习的多标签图像分类方法，具体为：1)准备多标签图像训练样本集，将训练样本集划分为有标注训练样本集和无标注训练样本集；2)构建类共生关系图；3)根据类共生关系图搭建网络模型；4)构造带置信度的互相关熵分类损失函数；5)构造带置信度的分类概率约束函数；6)构造带置信度的类别‑特征相关性目标函数；7)构造总的目标函数；8)根据步骤7)构造的总的目标函数，并结合直推式半监督学习原理，训练步骤3)中所搭建的网络模型；9)将待分类的多标签图像输入到步骤8)训练好的网络模型，在分类层得到该图像的预测类别。该方法能够学习到更具有类别相关性的特征向量。

技术领域

本发明属于计算机视觉多标签图像分类技术领域，具体涉及一种基于直推式半监督深度学习的多标签图像分类方法。

背景技术

多标签图像是指一张图像包含多个类别标签的物体，多标签图像分类是指从预定义的类别标签集合中为每张图像分配多个与其相关的类别标签。多标签图像分类具有广泛的应用需求。多标签图像分类的应用场景包括多目标识别与检测、相册归类、图像语义标注、图像检索等。

基于大数据驱动的监督深度学习方法已在多标签图像分类等多个计算机视觉应用领域中都取得了目前最好的性能。但是对于多标签图像构建大规模有标注的训练样本集是非常耗时、昂贵、而且往往还需要相关专业知识。然而，可以容易且快速地从互联网上获得大量无标注多标签图像。因此，研究面向多标签图像分类的半监督深度学习方法具有重要的实际意义和广阔的应用前景。

目前，许多面向图像分类的半监督深度学习方法被提出来。这些方法的核心思想是自洽正则化，即对无标注样本进行数据增广，通过维持无标注样本与其增广样本的特征一致性、标签预测一致性或模型参数一致性来保证深度卷积神经网络模型训练的稳定性。虽然它们在一般的单标签图像分类任务上已经基本达到了较为满意的分类精度，但在多标签图像分类任务上，效果并不令人满意，主要原因是：这些方法不是专门针对多标签图像分类任务设计的，它们没有考虑多标签图像分类的难点。

与单标签图像分类相比，多标签图像分类更具有挑战性，其难点主要在于：1)一张图像上可以包含多个类别标签的物体，不同的类别不再相互排斥，甚至语义上有重叠或存在着各种共生关系；2)事先不知道一张图像上共包含多少类的物体。

目前一些专门针对多标签图像分类的半监督深度学习方法已被提出，这些方法主要是基于标签传播和图嵌入的半监督深度学习方法，它们没有考虑多标签类共生关系与分类器参数之间的关系，并且没有针对多标签图像进行类别-特征相关性学习。

综上所述，对于多标签图像分类任务，目前的半监督学习方法还有一定的局限性和不足。

发明内容

本发明的目的是提供基于直推式半监督深度学习的多标签图像分类方法，该方法不依赖于深度卷积网络结构，能够学习到更具有类别相关性的特征向量，且能够显著降低训练数据的标注成本。

本发明所采用的技术方案是，基于直推式半监督深度学习的多标签图像分类方法，包括以下步骤：

1)准备多标签图像训练样本集，将训练样本集划分为有标注训练样本集和无标注训练样本集；

2)根据有标注训练样本集，构建类共生关系图；

3)根据类共生关系图搭建网络模型；

4)构造带置信度的互相关熵分类损失函数；

5)构造带置信度的分类概率约束函数；

6)构造带置信度的类别-特征相关性目标函数；

7)根据带置信度的互相关熵分类损失函数、带置信度的分类概率约束函数和带置信度的类别-特征相关性目标函数，构造总的目标函数；

8)根据步骤7)构造的总的目标函数，并结合直推式半监督学习原理，训练步骤3)中所搭建的网络模型；