[发明专利]一种基于知识辅助的零样本图像分类方法

说明书

本发明涉及一种基于知识辅助的零样本图像分类方法，用于解决图卷积神经网络和知识图的算法无法充分利用视觉和语义知识，导致零样本图像分类准确性低的问题。为此本发明提出了视觉知识辅助模块与语义知识辅助模块，进一步提升了现有模型的图像分类精度。视觉知识辅助模块中利用每个类的样本视觉特征中心及其对应标签设计一个分类损失函数，促使模型挖掘真实的视觉知识。语义知识辅助模块通过将分类器参数重构回语义特征的方式，保证了语义知识在卷积网络中重要信息不被损害。此外还添加了一个简单的残差卷积网络进一步提高模型在AWA2数据集上的表现。本发明在的AWA2数据集和ImageNet数据集上都取得了良好的实验结果。

技术领域

本发明属于计算机视觉，零样本学习领域，具体是一种图像分类方法。

背景技术

目前，大部分深度学习模型都依赖于大量的训练样本，但是获取训练样本的标签需要耗费巨大，而且有些标签数据难以获取甚至无法获取。针对这种问题，人们提出了零样本学习算法，这种算法只需要利用可见类样本进行训练就能识别测试类。这类算法可以用极低的成本完成自然语言处理、视频分类以及目标动作识别等任务。

零样本学习在图像分类领域受到了广泛关注，这类方法需要使用隐性的知识表征作为可见类与不可见类之间知识传播的桥梁，这种知识表征通常为属性或词向量，多数方法致力于直接学习视觉表征与知识表征的映射关系。在测试阶段将未知图像视觉特征以及未知类的语义表征映射到同一空间内，之后在这空间内用最近邻算法实现图像分类。但是，由于训练时只能用到可见类的视觉表征，因此该映射网络不具备足够强的泛化能力，这限制了模型对不可见类图像的分类能力。有研究者认为类间结构信息能够提高模型的泛化能力，并提出用隐性的知识表征和类之间的关系来预测每个类的分类器。这种方法将每个类的词向量作为节点特征，再利用类间关系作为节点的边构成一个知识图，该知识图作为GCN(Graph Convolutional Network)的输入，最后GCN输出预测的分类器。在此基础上提出了六层GCN的模型，并获得了杰出效果。但是多层图卷积网络中由于拉普拉斯过度平滑导致的节点特征趋于相同的问题，该模型在训练过程中对节点特征造成了严重的损伤。为了克服这个问题，DGP(Dense Graph Propagation)模型提出了密集图的构建策略，通过将节点与其祖先节点和子节点直接连接的方法，将GCN的层数降低到了两层，并实现了更高性能的知识传播。总之，这类方法主要在图神经网络结构以及知识图的构建两个方面进行模型的优化，并且在当时都取得了杰出的实验结果。

但是上述方法仍然存在两个严重问题。第一，引导图神经网络训练的可见类分类器参数W_s是由监督学习训练而得，这个参数将会被固定在网络训练中，该参数的分类能力极大地影响着我们最终训练出来的分类器参数这里为预测的可见类分类器参数，为预测的不可见类分类器参数。但是W_s也是由训练所得，因此仅仅将W_s作为监督。同时，我们注意到拥有更加真实知识的可见类视觉特征却被上述方法忽略了，这些问题严重限制着预测的分类器参数的分类能力。第二，这类模型的训练是将所有节点(可见类和不可见类)输入网络中，最终网络输出其对应的分类器参数，但是监督整个网络训练的损失函数往往只包含了可见类的信息(W_s与)。因此，在训练过程中我们无法保证不可见类的节点重要信息能够在图卷积神经网络中得以有效的应用。特别是对于ImageNet这样的数据集，可见类仅有一千类而不可见类却多达两万余类，不可见类信息的丢失对于本身就缺少大量训练数据的零样本学习算法而言是非常严重的问题。

发明内容