[发明专利]模型训练方法、装置及可读存储介质

说明书

本公开涉及一种模型训练方法、装置及可读存储介质，其中，该方法包括：获取目标任务对应的第一样本数据集、第一教师模型和第一学生模型；其中，所述第一样本数据集包括至少一个第一样本数据；第一教师模型和第一学生模型均包括经过预训练的模型；根据所述第一样本数据集、第一教师模型以及第一学生模型进行知识蒸馏，直至满足预设收敛条件，获得目标学生模型。由于第一学生模型是经过预训练的模型，具备一定的性能，因此，本公开能够实现提升第一学生模型的收敛速度，提高知识蒸馏效率。

技术领域

本公开涉及计算机处理技术领域，尤其涉及一种模型训练方法、装置及可读存储介质。

背景技术

深度神经网络在各种任务中的应用越来越多，任务越复杂深度神经网络的规模也越大，则深度神经网络带来的计算资源消耗也越大，因此，模型压缩技术在实际需求下也受到越来越多的关注。

知识蒸馏是深度神经网络压缩的重要方法之一。具体地，预训练一个大规模的模型作为教师模型，然后选择一个小规模的模型作为学生模型，通过学生模型学习教师模型的输出，获得训练好的学生模型，该训练好的学生模型在性能上靠近教师模型，但在规模上小于教师模型。然而，采用上述方式学生模型收敛速度较慢，知识蒸馏效率较低。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种模型训练方法、装置及可读存储介质。

第一方面，本公开实施例提供了一种模型训练方法，包括：

获取目标任务对应的第一样本数据集、第一教师模型和第一学生模型；其中，所述第一样本数据集包括至少一个第一样本数据；所述第一教师模型和所述第一学生模型均包括经过预训练的模型；

根据所述第一样本数据集、所述第一教师模型以及所述第一学生模型进行知识蒸馏，直至满足预设收敛条件，获得目标学生模型。

在一些可能的设计中，所述方法还包括：

根据所述目标任务对应的第二样本数据集，对未训练的第二学生模型进行训练，获取经过预训练的所述第一学生模型；其中，所述第二样本数据集包括至少一个第二样本数据，每个所述第二样本数据包括对应的真值标注。

在一些可能的设计中，所述方法还包括：

根据所述目标任务对应的第三样本数据集，对未训练的第二教师模型进行训练，获取经过预训练的所述第一教师模型；其中，所述第三样本数据集包括至少一个第三样本数据，每个所述第三样本数据包括对应的真值标注。

在一些可能的设计中，所述根据所述第一样本数据集、所述第一教师模型以及所述第一学生模型进行知识蒸馏，直至满足预设收敛条件，获得目标学生模型，包括：

(A)将所述第一样本数据集中的第一样本数据分别输入所述第一教师模型和所述第一学生模型，获取所述第一教师模型输出的第一结果和所述第一学生模型输出的第二结果；

(B)根据所述第一结果、所述第二结果以及所述第一样本数据的真值标注，获取第一损失信息；

(C)根据所述第一损失信息更新所述第一学生模型中各参数的权重系数；

若满足预设收敛条件，则根据更新后的第一学生模型获取所述目标学生模型；若不满足预设收敛条件，则返回执行上述步骤(A)至(C)，直至满足所述预设收敛条件，获取所述目标学生模型。

在一些可能的设计中，所述根据所述第一结果、所述第二结果以及所述第一样本数据的真值标注，获取第一损失信息，包括：

根据所述第一结果和所述第二结果，获取第二损失信息；

根据所述第一结果和所述第一样本数据的真值标注，获取第三损失信息；

根据所述第二损失信息和所述第三损失信息，获取所述第一损失信息。