[发明专利]一种多样性增强的无数据知识蒸馏方法

权利要求书

1.一种多样性增强的无数据知识蒸馏方法，其特征在于，包括以下步骤：

步骤1：初始化大型教师模型，使用原始数据集训练教师模型，并存储教师模型对应的内部知识；

步骤2：构建深度卷积条件生成网络，基于条件生成的思想将预设的标签信息作为条件数据，与噪声向量一起输入到条件生成网络；

步骤3：基于度量学习构建一个多样性正则化项，同时根据教师模型反馈知识、内部知识和多样性正则化项的损失函数联合训练条件生成网络训练，直至条件生成网络收敛，使用训练好的条件生成网络合成数据集；

步骤4:利用在步骤3中获得的合成数据集通过知识蒸馏训练学生模型，直至学生模型被训练至收敛。

2.根据权利要求1所述的一种多样性增强的无数据知识蒸馏方法，其特征在于，所述步骤1具体包括：

步骤11:初始化参数为θ_T的大型教师模型T；

步骤12:设定最大迭代次数为N_T、停止迭代阈值为k_T，用原始数据集(X_ori,Y_ori)训练步骤11中搭建好的教师模型，直到当前迭代的函数值小于阈值k_T或达到最大迭代次数N_T，保存训练好的教师模型T；

步骤13：存储教师模型的内部知识，即原始数据在教师模型第l层的运行均值μ_l和方差

3.根据权利要求1所述的一种多样性增强的无数据知识蒸馏方法，其特征在于，所述步骤2具体包括：

步骤21:构建参数为θ_G的条件生成网络G，由卷积层，BatchNorm层，Tanh层和LeakyReLU激活函数组成；

步骤22:假设噪声向量z符合高斯分布，给定噪声向量z和其类别信息y作为条件生成网络G的输入，得到合成数据x_G＝G(z|y,θ_G)。

4.根据权利要求2所述的一种多样性增强的无数据知识蒸馏方法，其特征在于，所述步骤3具体包括:

步骤31：所述步骤3中同时根据教师模型反馈知识、内部知识和多样性正则化项的损失函数联合训练条件生成网络训练，总体损失函数为：

L_G(x_G,y)＝L_TG(x_G,y)+L_S(x_G)+L_DIV

其中，L_TG是教师模型反馈知识的损失函数，L_S是教师模型内部知识的损失函数，L_DIV是多样性正则化项的损失函数；

步骤32：教师模型反馈知识的损失函数具体包括：

L_TG(x_G,y)＝L_OH(x_G,y)+R_L2(x_G)+R_TV(x_G)

其中，L_OH是教师模型T对合成数据x_G的预测输出和预设类别信息y之间的交叉熵损失，其公式表示为：

R_L2是合成图像的L2范数，其鼓励合成图像的范围保持在目标间隔内，公式表示为：R_L2(x_G)＝||x_G||₂，R_TV是全变分正则化项，用于噪声消除和保留图像边界信息，其计算公式表示为：

其中，表示图像x_G在坐标(i,j)上的像素值；

步骤33：教师模型内部知识的损失函数具体包括：

L_S用于最小化所有层合成数据x_G和原始数据的统计数据之间的距离；其中，μ_l和是在步骤13中存储的教师模型内部知识；μ_l(x_G)和表示合成数据在教师模型第l层的运行均值和方差；N(·,·)表示正态分布，D_KL(·||·)表示KL散度；

步骤34：基于度量学习尽可能放大同类样本之间的距离，主要使通过计算同类别合成数据相对于噪声向量之间的比率来实现，多样性正则化项的损失函数具体包括：

其中，z和z1是标签信息都为y的不同噪声向量，x_G和x_G1是条件生成网络G合成的数据；

步骤35：设定最大迭代次数为N_G、停止迭代阈值为k_G，根据损失函数L_G训练更新条件生成网络G的参数，直到当前迭代的函数值小于阈值k或达到最大迭代次数N_G，输出合成数据集(X_G,Y)。

5.根据权利要求1所述的一种多样性增强的无数据知识蒸馏方法，其特征在于，步骤4具体包括：

步骤41：初始化参数为θ_S的轻量级学生模型S；

步骤42：用合成数据集(X_G,Y)以知识蒸馏的方式训练学生模型的总体损失函数为：

L＝L_KD(T(x_G；θ_T；t),S(x_G；θ_S；t))+λL_CE(S(x_G；θ_S),y)，(x_G∈X_G,y∈Y)

其中，L_CE(S(x_G；θ_S),y)是学生模型输出和预定义类别之间的交叉熵；L_KD是教师模型和学生模型输出之间的KL散度，t是蒸馏温度，λ是用于平衡两个损失项的权重参数；

步骤43:设定最大迭代次数为N_S、停止迭代阈值为k_S，用合成数据集(X_G,Y)训练步骤41中搭建好的教师模型，直到当前迭代的函数值小于阈值k_S或达到最大迭代次数N_S，保存训练好的教师模型S。