[发明专利]一种零样本图片的类别识别方法

摘要

本发明公开了一种零样本图片的类别识别方法。依据人类的知识构建一个知识图谱来表示类别之间的显式关系，避免了在语义空间内学习隐式关系，类别之间的关系模糊、不确定的问题，同时，构造并训练一残差图卷积网络用于在类别之间迁移知识，采用内积值最大进行类别识别，这样提高了零样本图片的类别识别的准确度。

主权项

1.一种零样本图片的类别识别方法，其特征在于，包括以下步骤：(1)、构建一知识图谱来表示图片类别之间的显式关系1.1)、构造一个图，图中含有与WordNet中类别个数相同的节点，图中每个节点代表一个类别，若两个类别在WordNet中有关系，在图中将该对应的节点用边连接，所有边的权重为1；每个类别行列放置，在图中，如两个类别的边的权重为1，则将对应的行列位置设置为1，否则，设置为0，这样得到邻接矩阵A；1.2)、获取每一个类别名称的词向量，然后计算词向量之间的距离值，每个词向量按照步骤1.1)中各自类别对应的位置放置，将每个两个词向量之间的距离值置于该两个词向量对应的行列位置，得到距离矩阵；在距离矩阵中，对每一行选取K个最小的距离值并记录下其对应的类别；构造一K近邻图，K近邻图中每个节点代表一个类别，判断选取的K个最小的距离值是否小于给定的阈值，若某一最小距离值小于阈值且不为0，则在K近邻图中，将该最小距离值对应的类别与该行所对应的类别连接起来，若大于阈值则不连接；每个类别行列放置，在K近邻图中，如两个类别的边的权重为1，则将对应的行列位置设置为1，否则，设置为0，这样得到K近邻图的邻接矩阵B；1.3)、将步骤1.2)得到的K近邻图的邻接矩阵B和步骤1.1)构造的图的邻接矩阵A直接相加，得到一个知识图谱的邻接矩阵C＝A+B；(2)、构造了一个类别之间迁移知识的残差图卷积网络所述残差图卷积网络包含两个模块即恒等映射连接模块和映射连接模块，其中：恒等映射连接模块将前面的图卷积层直接与后面的图卷积层逐元素相加，其公式可以定义如下：在公式(1)中，X_in为所有类别名称的词向量按行放置构成的词向量输入特征矩阵(词向量为行向量)，X’_out为词向量输出特征矩阵，为知识图谱的邻接矩阵C的正则化版本，为恒等映射跳跃的图卷积层，通常为一到两层，的维度与词向量输入特征矩阵X_in的维度相同即具有相同的行列数；映射连接模块将恒等映射连接模块输出的词向量输出特征矩阵X’_out作为输入进行连接，得到词向量输出特征矩阵X_out，其公式可以定义如下：在公式(2)，为映射图卷积层，其维度不同于词向量输出特征矩阵为线性映射层，使词向量输出特征矩阵X’_out变换到映射图卷积层相同的维度，W为需要学习的参数；(3)、对残差图卷积网络进行半监督方式的训练将残差图卷积网络的输出即词向量输出特征矩阵X_out的每一行作为与词向量输入特征矩阵X_in每一行对应类别的预测分类特征向量，训练集中图片的真实分类特征向量与该图片类别对应的预测分类特征向量进行比较，采用均方误差函数作为损失函数对对残差图卷积网络进行训练，其中，均方误差函数为：其中，Loss表示损失值，M表示训练集中图片类别的个数，小于所有类别的个数N，f_j表示第j个类别预测的分类特征向量(分类器)，表示第j个类别真实的分类特征向量(分类器)；(4)、零样本图片的识别4.1)、对一张给定的新图片，提取其视觉特征V，视觉特征V为一行向量；4.2)、将视觉特征与残差图卷积网络输出的每一个预测特征向量计算内积值O_j：O_j＝f_j·V^T,j＝1,2,....,N其中，T表示转置；4.3)、对内积值进行排序，内积值最大的预测特征向量所对应的类别即是该图片的类别。