[发明专利]一种基于同构多教师指导知识蒸馏的图像分类方法及系统

权利要求书

1.一种基于同构多教师指导知识蒸馏的图像分类方法，其特征在于，包括：

基于给定的学生模型，初始化与学生模型结构相同的教师组模型；

采用训练集预训练教师组模型；

计算教师组模型在训练集上的自信度，基于自信度的自适应初始化策略初始化学生模型参数；所述教师组模型的自信度为：所有教师模型在训练集所有真实类别上预测概率的平均值；所述基于自信度的自适应初始化策略初始化学生模型参数包括：当教师组模型的自信度在预设的数值范围之内，则采用继承初始化来初始化学生模型参数；否则，采用随机初始化来初始化学生模型参数；所述继承初始化指的是：在预训练的教师组模型中，选取性能最优的教师模型，依据该模型的权重参数初始化学生模型；

采用教师组模型中的各个教师模型联合指导完成模型参数初始化的学生模型；

基于待分类的图像，采用优化后的学生模型，得到分类结果；

所述学生模型的优化包括：采用损失函数优化学生模型分类层；优化过程中，学生模型的总目标函数为：

L_CE(·)表示经典交叉熵损失，表示第k个教师模型与学生模型之间的KL散度损失；α和β是这两项损失的平衡系数；p_S表示学生模型的软目标输出，表示第k个教师模型的软目标输出；L_RVS是全连接层的行向量相似度损失，γ是L_RVS的平衡系数。

2.根据权利要求1所述的基于同构多教师指导知识蒸馏的图像分类方法，其特征在于，所述选取性能最优教师模型的过程包括：对每个教师模型的输出T_k进行加权集成，当集成结果预测P_E在验证集上达到最佳准确率时，此时所对应的一系列权重系数w₁,w₂,…,w_n即最佳权重系数，取最大权重系数所对应的教师模型为最佳教师模型。

3.一种基于同构多教师指导知识蒸馏的图像分类系统，其特征在于，包括：

模型确定模块，其被配置为：基于给定的学生模型，初始化与学生模型结构相同的教师组模型；

模型训练模块，其被配置为：采用训练集预训练教师组模型；

模型参数优化模块，其被配置为：计算教师组模型在训练集上的自信度，基于自信度的自适应初始化策略初始化学生模型参数；所述教师组模型的自信度为：所有教师模型在训练集所有真实类别上预测概率的平均值；所述基于自信度的自适应初始化策略初始化学生模型参数包括：当教师组模型的自信度在预设的数值范围之内，则采用继承初始化来初始化学生模型参数；否则，采用随机初始化来初始化学生模型参数；所述继承初始化指的是：在预训练的教师组模型中，选取性能最优的教师模型，依据该模型的权重参数初始化学生模型；

知识蒸馏模块，其被配置为：采用教师组模型中的各个教师模型联合指导完成模型参数初始化的学生模型；

分类模块，其被配置为：基于待分类的图像，采用优化后的学生模型，得到分类结果；

所述学生模型的优化包括：采用损失函数优化学生模型分类层；优化过程中，学生模型的总目标函数为：

L_CE(·)表示经典交叉熵损失，表示第k个教师模型与学生模型之间的KL散度损失；α和β是这两项损失的平衡系数；p_S表示学生模型的软目标输出，表示第k个教师模型的软目标输出；L_RVS是全连接层的行向量相似度损失，γ是L_RVS的平衡系数。

4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-2中任一项所述的基于同构多教师指导知识蒸馏的图像分类方法中的步骤。

5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-2中任一项所述的基于同构多教师指导知识蒸馏的图像分类方法中的步骤。