[发明专利]一种基于知识蒸馏的多跨域少样本分类方法

权利要求书

1.一种基于知识蒸馏的多跨域少样本分类方法，其特征在于，包括如下步骤：

1)预训练阶段，分别利用N个不同源域的训练集{Z₁,Z₂,…,Z_N}来训练N个不同的教师网络，每个教师网络包含一个教师特征编码器E和教师分类器C，初始化N个教师网络参数，利用交叉熵损失函数对每一个教师网络进行预训练，最终得到N个训练好的教师网络；

2)构建学生网络，学生网络是一种基于度量的少样本模型，包含一个学生特征编码器E_s和一个度量函数d，初始化学生特征编码器E_s的参数；

3)元训练阶段，从N个不同源域的训练集中随机选取一个训练集作为当前的元训练集D_train，根据元学习的思想，从当前的元训练集D_train中随机采样一定量的少样本任务，每个任务都包含一个支持集S和一个查询集Q，支持集中含有W个类别的数据，每个类别有K个样本；

4)依次将不同的少样本任务同时送到N个教师网络和学生网络中；

5)依次将支持集S中第k个样本图像x_k输入到N个教师特征编码器和学生特征编码器中，分别得到相对应的视觉特征

其中x_k为支持集S中第k个样本图像，E_n为第n个教师特征编码器，E_s为学生特征编码器，为第n个教师特征编码器E_n对x_k编码后输出的视觉特征，为学生特征编码器E_s对x_k编码后输出的视觉特征；

6)分别对支持集中属于同一类别的样本视觉特征取平均，得到每个类别的原型表示为：

其中K为第w个类别的样本总数，为经过第n个教师特征编码器编码后的第w个类别的原型表示，为经过学生特征编码器编码后的第w个类别的原型表示；

7)依次将查询集的样本图像x_Q输入到N个教师特征编码器和学生特征编码器中，分别得到相对应的视觉特征和

其中x_Q为查询集Q中的样本图像，E_n为第n个教师特征编码器，E_s为学生特征编码器，为第n个教师特征编码器E_n对x_Q编码后输出的视觉特征，为学生特征编码器E_s对x_Q编码后输出的视觉特征；

8)根据经过学生特征编码器编码后的原型表示和查询集样本图像的视觉特征，按照如下公式计算查询集样本图像x_Q属于支持集中各个类别的概率：

其中p^s(y＝w|x_Q)为学生网络输出的查询集样本图像x_Q属于第w个类别的预测概率，W为支持集中类别的总数，函数d为欧氏距离的度量函数，exp为自然常数e为底的指数函数；

9)根据学生网络输出的查询集样本图像x_Q的类别预测概率计算分类损失，设定学生网络的分类目标函数L_cls如下：

其中y_Q为查询集中样本图像x_Q的真实标签，p^s(y＝w|x_Q)为学生网络输出的查询集样本图像x_Q属于第w个类别的预测概率，W为支持集中类别的总数；

10)根据经过N个教师特征编码器和学生特征编码器编码后的原型表示和查询集样本图像的视觉特征，利用温度系数τ计算软化后的类别预测概率分布，从而在N个教师网络和学生网络之间进行基于软标签的知识蒸馏，得到学生网络的基于软标签的目标函数L_KL；

11)根据经过N个教师特征编码器和学生特征编码器编码后的原型表示和查询集样本图像的视觉特征，利用成对的特征计算相似度矩阵，从而在N个教师网络和学生网络之间进行基于相似度的知识蒸馏，得到学生网络的基于相似度的目标函数L_sim；

12)根据如下学生网络的总目标函数公式，使用SGD算法训练学生特征编码器：

L＝L_cls+L_KL+L_sim (21)

其中，L为学生网络的总目标函数，L_KL为学生网络的基于软标签的目标函数，L_sim为学生网络的基于相似度的目标函数；

13)重复步骤3-12，直至总目标函数值逐渐收敛且趋于不变时，得到训练好的学生网络；

14)测试阶段，给定一个不同于N个源域的数据集作为目标域，依次将来自目标域测试集的支持集和查询集的样本图像输入到训练好的学生特征编码器E_s中，得到相应的视觉特征，按照公式(7)计算支持集中各个类别的原型表示，再按照公式(10)计算查询集样本图像属于各个类别的概率，将计算得到的概率中最大的概率所对应的类别，作为查询集样本图像的类别。