[发明专利]一种基于结构传播的零样本图像分类方法

说明书

本发明公开的一种基于结构传播的零样本图像分类方法，步骤1，分别计算所有类别的语义结构和图像结构；步骤2，根据步骤1中语义结构和图像结构的计算式，建立适用于零样本图像分类的结构关系模型，并求解优化式；步骤3，根据步骤2中的优化式，继续更新图像结构；步骤4，循环迭代步骤2‑3，进行正向结构传播，直至得到稳定的未可见类别的标记。本发明基于结构传播的零样本图像分类方法的平均识别率最高，提高了分类的准确率和效率，获得了更好的零样本图像分类的效果。

技术领域

本发明属于图像分类方法技术领域，具体涉及一种基于结构传播的零样本图像分类方法。

背景技术

近年来，深度学习在图像目标识别方面取得了突破性进展，在某些实验条件下，甚至已经超越人的判别能力，但是深度学习大多数都属于监督的学习方法，在训练深度模型时需要大量标注类别的训练样本。而在实际应用中，大多数时候，我们并不能获取大量标注类别的样本或者需要大量的人力和物力的投入才能获取这样的样本，因此，为了解决如何识别没有视觉图像训练样本类别的问题，零样本学习被提出。

在零样本分类问题中，已知信息是可见类别的图像样本和所有类别(可见和未可见类别)的语义信息，不可知信息是未可见类别和其图像样本。我们期望利用可见和未可见类别的视觉相关性、语义相关性和视觉与语义的相关性对未可见图像样本进行分类。

为了建模类别视觉和语义的相关性，当前方法思路是利用线性或非线性将视觉映射到语义、或将语义映射到视觉、或视觉语义映射到共同空间中，以此建立相关性，获得为可见类别的识别；但是视觉和语义的分布结构和描述方式造成两者间割裂，而现有方法未能考虑将视觉和语义的分布结构统一融合并挖掘它们的相关关系。

发明内容

本发明的目的是提供一种基于结构传播的零样本图像分类方法，将视觉和语义的分布结构统一融合并整理出两者之间的关系，解决了现有零样本图像分类方法不准确的问题。

本发明所采用的技术方案是，一种基于结构传播的零样本图像分类方法，包括以下步骤：

步骤1，分别计算所有类别的语义结构和图像结构；

步骤2，根据步骤1中语义结构和图像结构的计算式，建立适用于零样本图像分类的结构关系模型，并求解优化式；

步骤3，根据步骤2中的优化式，继续更新图像结构；

步骤4，循环迭代步骤2-3，进行正向结构传播，直至得到稳定的未可见类别的标记。

本发明的特征还在于，

步骤1具体为：

步骤1.1，所有类别的语义结构的计算过程如下：

设可见类别的语义特征表示为{b_s|s∈1,...,S}，其中s为可见类别的索引，S为可见类别数目；

设未可见类别的语义特征表示为{b_u|u∈1,...,U}，其中u为未可见类别的索引，U为未可见类别数目；

构建可见类别的语义特征和未可见类别的语义特征两者之间的关系为语义特征结构，表示为W^b，见公式(1)，

公式(1)中，参数表示可见类别的语义特征b_s和未可见类别的语义特征b_u的相似度量值，表示式为公式(2)，

其中参数d(b_s,b_u)＝(b_s-b_u)^Tσ_bI(b_s-b_u)，σ_b为语义度量尺度，取值为0.1；