[发明专利]基于个体学习的模型蒸馏改进方法、设备及存储介质

权利要求书

1.一种基于个体学习的模型蒸馏改进方法，其特征在于，所述基于个体学习的模型蒸馏改进方法包括以下步骤：

将预选训练集输入教师网络，经所述教师网络筛选后生成代表样本和非代表样本；

确定学生网络用于处理代表样本的第一损失函数及用于处理非代表样本的第二损失函数，其中，计算所述学生网络的特征层拟合所述教师网络的特征层的拟合程度作为所述第一损失函数的第一部分，将所述教师网络的损失函数作为第一损失函数的第二部分，将第一参数与所述第一部分的乘积与第二参数与所述第二部分的乘积的和确定为所述第一损失函数，所述教师网络的损失函数为cosface；

通过所述第一损失函数对所述预选训练集中的所述代表样本进行训练，通过所述第二损失函数对所述预选训练集中的所述非代表样本进行训练；

利用所述第一损失函数与所述第二损失函数调整学生网络的参数，其中，调整所述学生网络的参数进行学生网络训练的训练过程中，所述学生网络损失层的权重向量与所述教师网络损失层的权重向量一致；

当调整所述学生网络参数至损失函数最小时，得到训练后的所述学生网络。

2.如权利要求1所述的基于个体学习的模型蒸馏改进方法，其特征在于，所述经所述教师网络筛选后生成代表样本和非代表样本的步骤包括：

根据两个不同类别样本的样本特征计算第一欧式距离，并根据其中一个样本的样本特征及其所属类别的样本中心特征计算第二欧式距离；

根据最小的第一欧式距离与所述第二欧式距离确定样本的选择因子；

根据所述选择因子筛选出预选训练集中的代表样本与非代表样本。

3.如权利要求2所述的基于个体学习的模型蒸馏改进方法，其特征在于，所述根据所述选择因子筛选出所述训练集中的代表样本与非代表样本的步骤包括：

判断所述选择因子是否小于预设阈值；

若所述选择因子小于预设阈值，则判定当前样本为代表样本；

若所述选择因子大于或等于预设阈值，则判定当前样本为非代表样本。

4.如权利要求1所述的基于个体学习的模型蒸馏改进方法，其特征在于，所述确定学生网络用于处理代表样本的第一损失函数及用于处理非代表样本的第二损失函数的步骤包括：

根据教师网络的损失函数、教师网络的特征层以及学生网络的特征层，确定学生网络用于处理代表样本的第一损失函数。

5.如权利要求1所述的基于个体学习的模型蒸馏改进方法，其特征在于，所述确定学生网络用于处理代表样本的第一损失函数与用于处理非代表样本的第二损失函数的步骤包括：

将与教师网络相同的损失函数确定为学生网络用于处理非代表样本的第二损失函数。

6.如权利要求1所述的基于个体学习的模型蒸馏改进方法，其特征在于，所述确定学生网络用于处理代表样本的第一损失函数与用于处理非代表样本的第二损失函数的步骤包括：

定义教师网络的特征层为，学生网络的损失函数为，第一参数为λ；

若将教师网络的损失函数确定为cosface，则确定第一损失函数为，确定第二损失函数为cosface。

7.一种智能设备，其特征在于，所述设备包括存储器、处理器及存储在存储器上并可在处理器上运行的基于个体学习的模型蒸馏改进程序，所述处理器执行所述基于个体学习的模型蒸馏改进程序时实现权利要求1-6中任一项所述的基于个体学习的模型蒸馏改进方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于个体学习的模型蒸馏改进程序，所述基于个体学习的模型蒸馏改进程序被处理器执行时实现如权利要求1-6中任一项所述的基于个体学习的模型蒸馏改进方法的步骤。