[发明专利]一种基于在线对比蒸馏网络的广义持续分类方法

权利要求书

1.一种基于在线对比蒸馏网络的广义持续分类方法，其特征在于，包括如下步骤：

步骤1，建立基于知识蒸馏的分类模型，该分类模型中包括教师模型和学生模型；教师模型和学生模型均设有特征编码器、分类器和特征映射器；设置学生模型的优化目标；初始化教师模型和学生模型的参数并赋予一个固定大小的缓冲区；

步骤2，当包含R个样本的一个批次数据流到来时，统计当前所遇到的样本数量，利用蓄水池采样的方法更新缓冲区；

步骤3，从缓冲区中随机采样S个样本，将这S个样本分别输入到教师模型和学生模型中，经过二者各自的特征编码器和分类器处理，分别得到对应这S个样本的教师模型和学生模型的分类输出数据；经过二者各自的特征编码器和特征映射器处理，分别得到对应这S个样本的教师模型和学生模型的特征嵌入数据；

步骤4，计算教师模型分类输出数据的质量分数，依据教师模型分类输出数据的质量分数调节不同样本在线知识蒸馏损失函数的权重，进一步计算教师模型和学生模型的在线蒸馏损失

步骤5，对教师模型和学生模型之间的特征嵌入数据进行对比，计算教师模型和学生模型的对比关系蒸馏损失

步骤6，利用自监督学习和监督对比学习帮助学生模型提取到判别性的特征，计算学生模型的自监督损失和监督对比学习损失

步骤7，基于经验回放，计算学生模型的交叉熵分类损失

步骤8，计算学生模型的总优化目标α₁至α₃为各对应损失函数的超参数；利用随机梯度下降算法优化学生模型的参数；

步骤9，直接利用学生模型的参数来更新教师模型的参数。

2.根据权利要求1所述的基于在线对比蒸馏网络的广义持续分类方法，其特征在于，步骤2中，假设非平稳的数据流由n个样本不相交的任务{T₁，T₂，...，T_n}组成，每个任务T_n的训练集都是由带标签的数据组成，其中m为任务T_n训练集的样本数量，x_i为任务T_n训练集中第i个图像样本，y_i为任务T_n训练集中第i个图像样本x_i所标记的类别；缓冲区的容量为B，x_j为缓冲区中第j个图像样本，y_j为缓冲区中第j个图像样本x_j所标记的类别；蓄水池采样的方法包括如下步骤：

步骤A1，判断当前所遇到的样本数量num和缓冲区容量之间的大小，若将样本(x_i，y_i)直接存储到缓冲区中；x_i为任务T_n训练集中第i个图像样本，y_i为任务T_n训练集中第i个图像样本x_i所标记的类别；

步骤A2，若生成一个随机整数rand_num，这个随机整数的最小值为0，最大值为num-1；若rand_num＜B，用样本(x_i，y_i)替换缓冲区中的样本(x_{rand_num}，y_{rand_num})；x_{rand_num}表示索引为rand_num的缓冲区中的图像样本，y_{rand_num}表示索引为rand_num的缓冲区中的图像样本标签。