[发明专利]一种基于元学习的对抗网络的零样本图像分类方法

权利要求书

1.一种基于元学习的对抗网络的零样本图像分类方法，其特征在于，包括如下步骤：

1)从可见类中随机选择M个类别作为一个episode的训练集，可见类中剩余类别作为这个episode的测试类，从而训练集可知其中n_tr为每个episode中训练集样本的数目，x_i为第i个训练样本的视觉特征，y_i为第i个训练样本的相应类别标签，a_i∈A_tr为第i个训练样本的类别语义原型，同时a_te∈A_te为一个episode中测试类的语义原型，定义两个记忆模块m₁、m₂；

2)将训练样本的视觉特征x_i随机选取设定批量的数据x，输入到一个由编码器E₁和解码器D₁组成的变分自编码器中，使生成和真实视觉样本相似的伪视觉特征重构约束如下：

其中，为2范数表示；

3)经过变分自编码器后，计算变分自编码器损失函数L_VAE；

4)将生成的伪视觉特征经过一个降维矩阵W后输入到softmax分类器中，获得一个one-hot分类结果表示每个类别的概率，根据其真实的标签计算分类损失如下：

其中f表示softmax分类器，W为分类器参数，作用是将生成特征的维度降到M维再和真实标签y做对比，把W定义为视觉模态的分类器；

5)将训练样本的视觉特征x、生成的伪视觉特征输入到判别器D中，对抗损失为L_D：

6)计算这个episode视觉模态训练过程的蒸馏损失L_kd-w和L_kd-v；

7)设定目标函数为上述损失函数相加，多次迭代训练视觉模态的变分自编码器：

其中，λ₁、λ₂为特征重构损失和变分自编码器损失的权重系数，将训练好的变分自编码器的编码器E₁和解码器D₁的参数分别存储到两个记忆模块中；

8)将训练类中的类别语义原型a_tr作为一个自编码器的输入，生成相应的视觉原型同时把定义为语义模态的分类器，利用对重构特征进行分类，计算分类损失L_cls2：

；

9)用视觉模态的分类器W约束语义模态的分类器从而得到视觉对语义的蒸馏约束，计算蒸馏损失L_kd2

；

10)训练语义模态的自编码器的目标函数如下：

L_a＝L_cls2+λ₃L_sup+λ₄L_kd2

其中，L_sup为视觉模态的解码器对语义模态的解码器的监督，λ₃和λ₄分别为监督损失和蒸馏损失的权重系数；

11)该episode的测试过程：将测试集的语义原型a_te输入到训练好的编码器E₂和解码器D₂中，获得相应的视觉原型

12)将和拼接在一起，得到所有可见类的分类器此时再用分类器C_S对所有可见类样本进行分类，计算分类损失，对之前学习到的参数进行微调：

；

13)将可见类和未见类的测试样本的语义特征a_t输入到语义编码器和解码器中，将生成的视觉特征原型和x_t做对比，其中，x_t为测试样本的视觉特征，利用最近邻的方法得到分类结果；

14)重复步骤1)～步骤13)，完成多个episode的元训练过程，直到得到最优的分类性能。