[发明专利]基于知识蒸馏的模型训练方法、装置、设备及存储介质

说明书

本发明涉及人工智能技术领域，提供一种基于知识蒸馏的模型训练方法、装置、设备及存储介质，通过获取满足目标条件的第一模型和不满足目标条件的N个第二初始模型，根据训练样本集，得到N个第二标签概率集，对第二标签集进行处理，得到第二初始模型对应的第三标签概率集，根据基预先得到的第一标签概率集，以及第三标签概率集，得到N个第二初始模型对应的平均损失函数，根据个第二初始模型对应的损失函数，得到每个第二初始模型对应的目标损失函数，根据目标损失函数，得到N个满足目标条件的第二模型，在对第二模型进行训练时，将第二模型中的N个模型进行信息融合，使每个第二模型得到的信息更加全面，从而提高第二模型的性能。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于知识蒸馏的模型训练方法、装置、设备及存储介质。

背景技术

随着人工智能识别的发展，普遍采用模型进行数据处理、图像识别等。通常地，对于不同应用场景有定制化模型需求的时候，技术人员选择的模型训练方式大致有两种：一、使用通用数据集训练好的通用模型修改最后输出层的类别数量，然后使用自己的数据集对模型参数进行重新调整；二、自己设计结构简单的模型，使用自己的数据集从头训练模型参数。其中，前一种方法使用已训练好的模型参数继续训练，能够加快训练收敛，也能保证模型精度，但是模型较大参数众多，需要较长的训练时间，第二种方法可以定制结构简单参数较少的小模型，但是模型参数需要从头训练，势必会减慢收敛速度，也不能保证模型的精度，而且训练数据集较小的情况下，还容易造成模型过拟合。

目前，通过知识蒸馏的方法，将教师模型中学习到的知识传递到学生模型中，从而使学生模型具有教师模型的泛化能力，但当前的知识蒸馏方法一般将教师模型中学习到的知识传递给一个学生模型，由于学生模型的参数有限，无法完全学习到教师模型中的知识，使生成的学生模型性能较差，因此，如何改进知识蒸馏的训练过程，以提高学生模型的性能成为亟待解决的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种基于知识蒸馏的模型训练方法、装置、设备及存储介质，以解决训练过程中模型性能较低的问题。

本申请实施例的第一方面提供了一种基于知识蒸馏的模型训练方法，所述方法包括：

获取满足目标条件的第一模型和不满足目标条件的N个第二模型，其中，N为大于1的整数；

初始化得到N个不同的初始参数，为每个第二模型赋值一个初始参数，得到N个第二初始模型，将训练样本集输入至所述第二初始模型中，输出第二标签概率集，得到N个第二标签概率集，所述第二初始模型与第二标签概率集一一对应；

对所述第二初始模型对应的第二标签概率集进行预处理，并将预处理结果输入至归一化层，输出所述第二初始模型对应的第三标签概率集；

根据基于所述第一模型与所述训练样本集得到的第一标签概率集，以及每个第二初始模型对应的第三标签概率集，得到每个第二初始模型对应的损失函数，并构建N个第二初始模型对应的平均损失函数；

基于所述平均损失函数与每个第二初始模型对应的损失函数，得到每个第二初始模型对应的目标损失函数，根据所述目标损失函数，对对应的第二初始模型进行训练，调整每个第二初始模型对应的初始参数，得到N个满足目标条件的第二模型。

本申请实施例的第二方面提供了一种基于知识蒸馏的模型训练装置，所述装置包括：

获取模块，用于获取满足目标条件的第一模型和不满足目标条件的N个第二模型，其中，N为大于1的整数；

第二标签概率集确定模块，用于初始化得到N个不同的初始参数，为每个第二模型赋值一个初始参数，得到N个第二初始模型，将训练样本集输入至所述第二初始模型中，输出第二标签概率集，得到N个第二标签概率集，所述第二初始模型与第二标签概率集一一对应；