[发明专利]一种直推式零次学习的未见类图片分类方法、设备及介质

说明书

本发明公开了一种直推式零次学习的未见类图片分类方法、设备及介质，该方法是使用双向跨模态生成算法，包括视觉‑语义对齐模型和视觉‑视觉对齐模型，其中，视觉‑语义对齐模型通过监督学习和非条件式对抗式训练方法实现从视觉特征解析语义信息的功能；语义‑视觉对齐模型通过条件式非条件式对抗式训练方法实现从语义信息生成视觉特征的功能。本发明具有对训练过程中未见种类数据的分类功能，同时具有通过语义描述生成准备的视觉特征，可以解决现实生活中对标注数据稀缺的问题，满足视觉场景下对数据增广的需求。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及零样本学习中的对未见过数据的准确分类。

背景技术

零样本学习 (Zero-Shot Learning，ZSL) 最初被提出为计算机视觉中的零数据学习，旨在解决现实中有标签数据难以获取的情况下，模型能够通过对有限的已标注数据学习实现对其从没见过的未见类（unseen classes）的分类。例如，在传统的 ZSL 中，没有为未见类提供训练示例， 但同时提供了大量的训练样例与他们的类别标签配对的数据，这些已匹配的数据类别称为已见类（seen classes）。为了实现对已见类数据学习的知识可以迁移到未见类别上，通常会使用辅助信息作为桥梁来进行知识迁移。这样的辅助信息，例如类别属性（attribute），使用者可以知道特定某个已见类的属性分布，比如对于‘猫’这个类别，‘它有毛’的属性值为‘1’，‘它有鱼鳍’的属性值为‘0’，‘它有尾巴’的属性值为‘1’等等；对于未见类‘海豚’，‘它有毛’的属性值为‘0’，‘它有鱼鳍’的属性值为‘1’，‘它有尾巴’的属性值为‘0’。该方法通过在已见类数据上对属性知识的学习，来实现利用未见类属性来对这些未见数据的分类，即让模型获得了推理的能力。

但是完全无训练示例的零样本学习很容易导致领域漂移的问题（domain shift），即模型建模的分布与实际分布存在偏差。因此该发明建立在未见类的训练示例可以在模型训练的时候使用，但是其与未见类标签是未匹配的情况下，这也被称为直推式（transductive）零样本学习（TZSL）。注意这样的假设是合理，因为在现实场景下获取大量未标注数据的难度要低很多。

针对现有的零样本学习，其存在的问题可以总结如下：

1、传统的零样本学习有显著的领域漂移问题，由于其无法利用未匹配标签的未见类训练示例来监督模型建模的未见类数据分布，如图1所示。

2、目前已经有的直推式零样本学习方案十分依赖辅助信息的质量，当辅助信息质量较低时，知识迁移效果不佳，对未见类的分类准确率较低。

3、基于生成式的直推式零样本学习方案十分依赖未见类别的频率分布先验知识，即给定特定未见类别，需要同时给定它在测试数据中的分布占比，从而才能实现良好的知识迁移结果。对于未见类分布先验未知的情况下，模型的知识迁移能力会极大的坍塌。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种直推式零次学习的未见类图片分类方法、设备及介质，以期能将已见类知识的学习准确鲁棒的迁移到未见类的分类当中去，从而能解决现实情况中已标注数据稀少的情形，以满足视觉场景下对数据增广的需求。

本发明的目的是通过以下技术方案实现的：

本发明一种直推式零次学习的未见类图片分类方法的特点在于，是按照如下步骤进行：