[发明专利]基于知识蒸馏的模型训练方法、装置、设备及存储介质

权利要求书

1.一种基于知识蒸馏的模型训练方法，其特征在于，所述训练方法包括：

获取满足目标条件的第一模型和不满足目标条件的N个第二模型，其中，N为大于1的整数；

初始化得到N个不同的初始参数，为每个第二模型赋值一个初始参数，得到N个第二初始模型，将训练样本集输入至所述第二初始模型中，输出第二标签概率集，得到N个第二标签概率集，所述第二初始模型与第二标签概率集一一对应；

对所述第二初始模型对应的第二标签概率集进行预处理，并将预处理结果输入至归一化层，输出所述第二初始模型对应的第三标签概率集；

根据基于所述第一模型与所述训练样本集得到的第一标签概率集，以及每个第二初始模型对应的第三标签概率集，得到每个第二初始模型对应的损失函数，并构建N个第二初始模型对应的平均损失函数；

基于所述平均损失函数与每个第二初始模型对应的损失函数，得到每个第二初始模型对应的目标损失函数，根据所述目标损失函数，对对应的第二初始模型进行训练，调整每个第二初始模型对应的初始参数，得到N个满足目标条件的第二模型。

2.如权利要求1所述的基于知识蒸馏的模型训练方法，其特征在于，所述初始化得到N个不同的初始参数，为每个第二模型赋值一个初始参数，得到N个第二初始模型，包括：

通过预设算法，计算得到每个第二模型中的参数权重；

根据所述参数权重，为每个第二模型赋值一个初始参数，得到N个第二初始模型。

3.如权利要求1所述的基于知识蒸馏的模型训练方法，其特征在于，所述对所述第二初始模型对应的第二标签概率集进行预处理，并将预处理结果输入至归一化层，输出所述第二初始模型对应的第三标签概率集，包括：

设置预处理参数，对所述第二初始模型对应的第二标签概率集进行蒸馏处理，得到蒸馏标签概率集；

将所述蒸馏标签概率集输入至归一化层，输出所述第二初始模型对应的第三标签概率集。

4.如权利要求1所述的基于知识蒸馏的模型训练方法，其特征在于，所述根据基于所述第一模型与所述训练样本集得到的第一标签概率集，以及每个第二初始模型对应的第三标签概率集，得到每个第二初始模型对应的损失函数，包括：

将所述训练样本集分别输入至所述第一模型中，输出所述训练样本集对应的第一标签概率集；

基于所述的第一标签概率集与每个第二初始模型对应的第三标签概率集，通过相对熵算法，得到每个第二初始模型对应的损失函数。

5.如权利要求1所述的基于知识蒸馏的模型训练方法，其特征在于，所述基于所述平均损失函数与每个第二初始模型对应的损失函数，得到每个第二初始模型对应的目标损失函数，包括：

根据所述训练样本集与每个第二标签概率集，通过预设算法，构建第二初始模型对应的损失函数；

根据所述平均损失函数与每个第二初始模型对应的损失函数，得到每个第二初始模型对应的目标损失函数。

6.如权利要求5所述的基于知识蒸馏的模型训练方法，其特征在于，所述根据所述平均损失函数与每个第二初始模型对应的损失函数，得到每个第二初始模型对应的目标损失函数，包括：

获取所述平均损失函数与每个第二初始模型对应的损失函数的占比系数；

根据所述占比系数对所述平均损失函数与每个第二初始模型对应的损失函数进行加权求和，得到每个第二初始模型对应的目标损失函数。

7.如权利要求1所述的基于知识蒸馏的模型训练方法，其特征在于，所述获取满足目标条件的第一模型之前，还包括：

基于所述训练样本集对预先构建的第一模型进行训练处理，调整所述第一模型中的参数，得到满足目标条件的第一模型。