[发明专利]一种基于数据增强的半监督零样本图像分类方法

权利要求书

1.一种基于数据增强的半监督零样本图像分类方法，其特征在于，包括如下步骤：

1)分别初始化回归器R和生成器G的参数为r和e；

2)将可见类的视觉特征和类别语义特征随机选取设定批量的数据分别记作x_s和a_s，从附加类样本中也提取相同批量的数据记作x_a,所述附加类包括来自K个类别的k个样本，表示为其中x_a和y_a分别表示样本的视觉特征和类别标签；

3)将x_s输入到回归器R中，输出语义特征并且使用真实的类别语义特征a_s作为回归器的约束，计算回归损失函数L_reg：

其中，为2范数表示；

4)将附加类的样本x_a输入回归器R，输出相应语义特征

5)将真实的可见类语义特征a_s和生成的附加类语义特征级联，输入到生成器G中，获得合成的可见类和附加类的伪视觉特征：

其中，[；]表示两个向量的级联；

6)计算生成样本与真实样本的重构损失函数：

7)将回归损失函数与重构损失函数相加，训练回归器和生成器，更新它们的参数：

L_total＝L_reg+λL_rec

其中，L_total表示模型的总损失函数；

8)重复步骤2)～步骤7)，达到设定的迭代次数，得到最终的回归器R和生成器G的参数r和e；

9)将测试样本的视觉特征x_t输入到训练好的生成器G中，获得对应的语义特征，利用最近邻的方法对生成语义特征进行分类，即：

2.如权利要求1所述的一种基于数据增强的半监督零样本图像分类方法，其特征在于，所述步骤2)的附加类y_a的样本视觉特征x_a的获取过程包括：

利用搜索引擎，搜索和未见类相关的类别作为附加类别y_a，下载若干附加类的清晰图像，且保证附加类别的数目与未见类数目相同，且附加类与可见类和未见类都不相交；

将获得的图像输入resnet101网络，获得相应的视觉特征x_a。

3.如权利要求1所述的一种基于数据增强的半监督零样本图像分类方法，其特征在于，所述步骤3)的利用回归器R生成语义特征的工作过程包括：

回归器R的网络结构由3层全连接层表示，其中前两层利用relu函数作为激活层，工作过程为：

其中，f_c1、f_c2和f_c3分别表示3个全连接层，relu()表示激活函数。

4.如权利要求1所述的一种基于数据增强的半监督零样本图像分类方法，其特征在于，所述步骤5)的生成器G的结构使用与回归器对称的结构，其工作过程为：

5.如权利要求1所述的一种基于数据增强的半监督零样本图像分类方法，其特征在于，还包括：

将图像数据集分为可见类和未见类，可见类包括来自N个类别的n个样本，表示为其中为第i个训练样本的视觉特征，和分别表示第i个训练样本相应的类别标签和类别语义原型。

6.如权利要求1所述的一种基于数据增强的半监督零样本图像分类方法，其特征在于，还包括：

给定x_t为测试样本的视觉特征，a_t为测试样本的类别语义特征。