[发明专利]一种零样本图片的类别识别方法

说明书

本发明公开了一种零样本图片的类别识别方法。依据人类的知识构建一个知识图谱来表示类别之间的显式关系，避免了在语义空间内学习隐式关系，类别之间的关系模糊、不确定的问题，同时，构造并训练一残差图卷积网络用于在类别之间迁移知识，采用内积值最大进行类别识别，这样提高了零样本图片的类别识别的准确度。

技术领域

本发明属于图片识别技术领域，更为具体地讲，涉及一种零样本图片的类别识别方法。

背景技术

传统的图片类别识别方法需要大量的标注数据来训练，而且训练得到的分类器只能识别参与训练图片的类别，对于新类别图片无能为力。但是，图片的标注过程是费时的，昂贵的，在现实中很难获取到大量的标注样本。

零样本图片的类别识别的目标是识别未在训练集中出现的图片的类别。现有零样本图片的类别识别方法主要分为两种类型。

第一种类型是学习一个公共的语义空间，在语义空间内将在训练集上获得的类别知识迁移到未参与训练的类别。通常基于语义信息来构造公共的语义空间。常用的语义信息有属性信息和词向量信息。基于语义信息的方法通过学习一个映射矩阵将图片的视觉特征和属性/词向量等信息映射到一个公共的空间内，使得相同类的视觉特征和属性/词向量等相互靠近，不同类相互远离。通过在可见类和不可见类之间共享映射矩阵，从而达到零样本图片的类别识别目的。

第二种类型是为新类学习一个分类器。这种方法首先借助于属性/词向量等信息来学习类别之间的隐式关系，基于学习到的类别关系，为新类生成一个分类器。

现有的零样本图片的类别识别方法大多基于语义信息(属性/词向量)来学习类别之间的隐式关系，基于学习到的隐式关系来迁移类别知识，这样存在以下不足：

(1)、属性的标注昂贵且费时，基于属性的方法不适用于大规模的零样本图片的类别识别；

(2)、词向量信息是从大型语料库中学习到的，具有很大的误差性，通过词向量信息来学习类别之间的关系通常不准确；

(3)、借助于语义空间来学习类别之间的隐式关系，然而，类别之间的关系是模糊的，不确定的，同时，在语义空间内学习类别之间的隐式关系是非常困难的，导致零样本图片的识别精度很低。

发明内容

本发明的目的在于克服现有技术的不足，提供一种零样本图片的类别识别方法，以新构建的知识图谱来表征图片类别之间的显式关系，避免了在语义空间内学习隐式关系，同时，以新构造的残差图卷积网络，用于类别之间迁移知识，从而提高了零样本图片的类别识别准确度。

为实现上述发明目的，本发明零样本图片的类别识别方法，其特征在于，包括以下步骤：

(1)、构建一知识图谱来表示图片类别之间的显式关系

1.1)、构造一个图，图中含有与WordNet中类别个数相同的节点，图中每个节点代表一个类别，若两个类别在WordNet中有关系，在图中将该对应的节点用边连接，所有边的权重为1；

每个类别行列放置，在图中，如两个类别的边的权重为1，则将对应的行列位置设置为1，否则，设置为0，这样得到邻接矩阵A；

1.2)、获取每一个类别名称的词向量，然后计算词向量之间的距离值，每个词向量按照步骤1.1)中各自类别对应的位置放置，将每个两个词向量之间的距离值置于该两个词向量对应的行列位置，得到距离矩阵；

在距离矩阵中，对每一行选取K个最小的距离值并记录下其对应的类别；

构造一K近邻图，K近邻图中每个节点代表一个类别，判断选取的K个最小的距离值是否小于给定的阈值，若某一最小距离值小于阈值且不为0，则在K近邻图中，将该最小距离值对应的类别与该行所对应的类别连接起来，若大于阈值则不连接；