[发明专利]一种基于元学习的对抗网络的零样本图像分类方法

说明书

本发明属于图像分类的技术领域，具体涉及一种基于元学习的对抗网络的零样本图像分类方法，将元学习的训练方式用于零样本分类任务中，通过将视觉特征和语义特征先后输入网络，在训练阶段模拟了对零样本图像分类的学习任务，不仅完成了视觉特征的生成过程，而且保证了不同分类器的对齐关系，同时每个episode的任务获得的知识得到充分利用，使语义分类器在视觉分类器的监督下更好地训练出来，从而合成更趋近于真实分布的视觉特征和语义特征，设计出适合于现实情况的零样本图像分类技术。本发明能够使广义零样本图像分类能力更加突出，提高模型的泛化能力，缓解零样本学习普遍存在的领域偏移问题。

技术领域

本发明属于图像分类的技术领域，具体涉及一种基于元学习的对抗网络的零样本图像分类方法。

背景技术

近年来，机器学习在自然语言处理、计算机视觉、语音识别等领域都得到了广泛应用，而在计算机视觉领域，图像分类任务是最受关注且应用最广的任务之一，各种分类技术层出不穷，性能不断提升。在机器学习任务中，通过大量人工标注的图像而实现分类的监督学习方法是图像分类的传统方法，在现实生活中得到了很好的应用。然而，实际中为每个类别的图像收集足够的样本并且进行标注并不容易，会消耗大量的劳动力。不难理解，自然界的物种分布呈现长尾效应，只有少数类别的物种具有足够的图像样本可供监督学习训练分类模型，而很多类别的物种样本少而标签标注困难，这就使监督学习带来巨大挑战。因此，为解决样本标签缺失的问题，零样本学习应运而生。

零样本图像分类是零样本学习的一个重要方向，用来解决图像标注困难的分类问题，在传统的零样本图像分类设定中，利用可见类图像样本及其标签训练模型，利用未见类图像样本测试模型，可见这种设定下测试图像的类别于训练图像的类别不相交；而在广义的零样本图像分类设定中，测试图像样本既包括可见类的图像又包括未见类的图像。本专利指的零样本学习包括如上两种设定情况。目前零样本图像分类的主要研究方法可大致分为两种：一是基于映射的方法，通过视觉特征空间和语义特征空间之间的映射或者二者到公共空间的映射来对其视觉特征和语义特征，从而获得较好的分类结果；二是基于生成的方法，利用生成对抗网络、变分自编码器等生成模型来生成测试样本的伪特征，通过比较生成的伪特征与真实特征之间的相似度来确定所属类别。

为了完成对测试样本类别的预测，零样本图像分类技术通过利用可见类和未见类的语义信息以达到知识迁移的作用。实验设置如下所示：在训练阶段，给定可见类的带标签样本其中n为可见类的样本数目，为第i个样本的视觉特征，表示其相应的类别标签，此外，表示其对应的类级语义原型。传统的零样本图像分类是给定未见类的语义特征A_U，将测试样本x_t分到未见类Y_U中，且广义的零样本图像分类是根据可见类和未见类的语义特征，将测试样本x_t分到可见类和未见类中。总之，零样本图像分类就是利用可见类样本的相关特征训练模型，利用这个模型预测测试样本的类别标签y_t。

通过学习视觉空间和语义空间之间的简单映射关系会导致特征表征的不完整，同时会产生低维枢纽点问题。通过学习从高维视觉空间到低维语义空间的简单映射会引发高维中不同类的样本压缩到低维中同一类语义的枢纽点现象，而从低维空间到高维空间的简单映射同样会产生类似的问题。近年来，生成对抗网络获得了科研人员的关注，将其与零样本学习结合起来，通过生成大量伪特征提高分类的准确度。但是生成对抗网络的本质缺点就是训练过程不稳定，容易引发模式崩溃的问题。还有一种基于生成的方法引入了变分自编码器(VAE)，以语义信息为条件输入VAE生成伪视觉特征。但VAE由于变分下界的引入使生成的视觉特征容易失真。

发明内容

本发明的目的在于：针对现有技术的不足，提供一种基于元学习的对抗网络的零样本图像分类方法，能够提高零样本图像分类准确率。

为了实现上述目的，本发明采用如下技术方案：

一种基于元学习的对抗网络的零样本图像分类方法，包括如下步骤：