[发明专利]一种基于数据增强的半监督零样本图像分类方法

说明书

本发明属于图像分类的技术领域，具体涉及一种基于数据增强的半监督零样本图像分类方法，利用快捷的搜索引擎，在训练过程中引入与未见类别相关的附加类别的数据，使可见类的信息可以很好地迁移到未见类中；同时不需要加入更多的语义信息，也就不需要耗费更多的人力，方便快捷；此外，本发明采用视觉特征和语义特征双向映射的方式，生成附加类样本的语义表示，使模型更好地从可见类迁移到未见类上去，提高模型的泛化能力，有助于推动零样本学习应用于生产生活实际，加速深度学习算法向实用发展。

技术领域

本发明属于图像分类的技术领域，具体涉及一种基于数据增强的半监督零样本图像分类方法。

背景技术

近年来，机器学习在自然语言处理、计算机视觉、语音识别等领域都得到了广泛应用，而在计算机视觉领域，图像分类任务是最受关注且应用最广的任务之一，各种分类技术层出不穷，性能不断提升。在机器学习任务中，通过大量人工标注的图像而实现分类的监督学习方法是图像分类的传统方法，在现实生活中得到了很好的应用。然而，实际中为每个类别的图像收集足够的样本并且进行标注并不容易，会消耗大量的劳动力。不难理解，自然界的物种分布呈现长尾效应，只有少数类别的物种具有足够的图像样本可供监督学习训练分类模型，而很多类别的物种样本少而标签标注困难，这就使监督学习带来巨大挑战。因此，为解决样本标签缺失的问题，零样本学习应运而生。

零样本图像分类是零样本学习的一个重要方向，用来解决图像标注困难的分类问题。零样本图像分类有以下几种划分方式：第一种是根据测试样本的目标类别分为传统零样本学习和广义零样本学习，其中传统设定下测试样本都属于未见类，而广义设定中测试样本的目标类别包括可见类和未见类；第二种是根据训练的数据中是否包括未见类别的样本分为直推式零样本分类和传导式零样本分类。

目前零样本图像分类的具体实施方法可大致分为两种：一是基于映射的方法，通过视觉特征空间和语义特征空间之间的映射或者二者到公共空间的映射来对其视觉特征和语义特征，从而获得较好的分类结果；二是基于生成的方法，利用生成对抗网络、变分自编码器等生成模型来生成测试样本的伪特征，通过比较生成的伪特征与真实特征之间的相似度来确定所属类别。

为了完成对测试样本类别的预测，零样本图像分类技术通过利用可见类和未见类的语义信息以达到知识迁移的作用，同时本发明引入与测试类别相关的类别样本参与训练。实验设置如下所示：在训练阶段，给定N个可见类的带标签样本其中n为可见类的样本数目，为第i个样本的视觉特征，表示其相应的类别标签，此外，表示其对应的类级语义原型。同时，给定一个包括K个类别的附加类样本集其中k为附加数据集的样本数，表示样本x_a对应的标签。测试过程中，传统的零样本图像分类是给定未见类的语义特征A_U，将测试样本x_t分到未见类Y_U中，且广义的零样本图像分类是根据可见类和未见类的语义特征，将测试样本x_t分到可见类和未见类中。此外，引入附加类样本的同时要注意保证且总之，半监督零样本图像分类就是利用可见类和附加类样本的相关特征训练模型，利用这个模型预测测试样本的类别标签y_t。

通过学习视觉空间和语义空间之间的简单映射关系会导致特征表征的不完整，同时会产生低维枢纽点问题。通过学习从高维视觉空间到低维语义空间的简单映射会引发高维中不同类的样本压缩到低维中同一类语义的枢纽点现象，而从低维空间到高维空间的简单映射同样会产生类似的问题。此外，生成对抗网络的引入不可避免的是其本身训练不稳定，易引发模式崩溃的问题，不能保证完全生成的样本的可靠性。因此，在引入附加类样本之前，无监督的训练方式容易造成可见类到未见类的知识迁移不完全的问题。

发明内容

本发明的目的在于：针对现有技术的不足，提供一种基于数据增强的半监督零样本图像分类方法，提高可见类到未见类知识迁移的能力，从而提升零样本图像分类的性能。

为了实现上述目的，本发明采用如下技术方案：

一种基于数据增强的半监督零样本图像分类方法，包括如下步骤：