[发明专利]一种基于语义属性注意力重分配机制的零样本学习方法及系统

说明书

本发明公开了一种基于语义属性注意力重分配机制的零样本学习方法及系统，其中，零样本学习方法包括：(1)建立基于语义属性注意力重分配机制的神经网络模型；(2)使用语义属性空间的注意力重新分配语义特征之间的权重；(3)使用带有标签的图像数据集训练神经网络模型；(4)计算图像加权后的语义特征与未知类的语义原型的相似度，计算隐层特征与未知类的隐层特征原型的相似度，将两种相似度相加得到测试图像与各未知类的相似度；(5)根据与各类之间的相似度进行排序，选取最大相似度的类作为该图像的类预测。本发明可以使零样本学习在训练过程中，能够更加紧密地联系语义空间和隐层空间，使得结合两种空间的联合分类的结果更加鲁棒。

技术领域

本发明涉及零样本学习分类系统领域，尤其是涉及一种基于语义属性注意力重分配机制的零样本学习方法及系统。

背景技术

近年来，目标分类作为计算机视觉领域中一个重要的分支，受到广大来自工业界和学术界研究者的关注。受益于深度学习技术的快速发展，有监督的目标分类任务取得了很大的进展，但同时，这种监督条件下的训练方法存在一些限制。在有监督分类中，每个类都需要足够的带有标签的训练样本。另外，学习的分类器只能对属于训练数据所覆盖的类的实例进行分类，缺乏处理先前看不见的类的能力。在实际应用中，每个类可能没有足够的训练样本，也可能存在训练中未覆盖的类出现在测试样本中的情况。零样本学习的目标是对属于训练中没有覆盖的类的实例进行分类，已经成为机器学习领域中一个快速发展的方向，在计算机视觉，自然语言处理和普适计算方面具有广泛的应用。

目前主流的零样本学习方法，主要采取基于属性的两阶段推导来预测图像的标签。该推导方法的流程为：输入一张图像，模型在第一阶段预测这张图像的各个属性，再在第二阶段通过搜索拥有最相似属性集的类来推断其类标签。例如，Christoph H.Lampert等人在2013年在IEEE模式分析与机器智能期刊(The IEEE Transactions on PatternAnalysis and Machine Intelligence)上发表的文章《Attribute-based classificationfor zero-shot visual object categorization》提出的DAP模型通过学习概率属性分类器来估计图像的每个属性的后验概率，然后通过计算类的后验概率和最大后验估计来推断图像的类标签。2016年国际计算机视觉与模式识别会议(The Conference on ComputerVision and Pattern Recognition)上收录的《Recovering the missing link：Predicting class-attribute associations for unsupervised zero-shot learning》中，提出首先为每个属性学习概率分类器，然后通过随机森林的方法进行分类，这种分类方法能够处理一些不可靠的属性。这种两阶段的方法存在域迁移的问题，例如，虽然目标任务是预测图像的类的标签，DAP的中间任务是学习与图像属性有关的分类器。