[发明专利]模型训练方法、装置及可读存储介质

权利要求书

1.一种模型训练方法，其特征在于，包括：

获取目标任务对应的第一样本数据集、第一教师模型和第一学生模型；其中，所述第一样本数据集包括至少一个第一样本数据；所述第一教师模型和所述第一学生模型均包括经过预训练的模型；

根据所述第一样本数据集、所述第一教师模型以及所述第一学生模型进行知识蒸馏，直至满足预设收敛条件，获得目标学生模型。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述目标任务对应的第二样本数据集，对未训练的第二学生模型进行训练，获取经过预训练的所述第一学生模型；其中，所述第二样本数据集包括至少一个第二样本数据，每个所述第二样本数据包括对应的真值标注。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

根据所述目标任务对应的第三样本数据集，对未训练的第二教师模型进行训练，获取经过预训练的所述第一教师模型；其中，所述第三样本数据集包括至少一个第三样本数据，每个所述第三样本数据包括对应的真值标注。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一样本数据集、所述第一教师模型以及所述第一学生模型进行知识蒸馏，直至满足预设收敛条件，获得目标学生模型，包括：

(A)将所述第一样本数据集中的第一样本数据分别输入所述第一教师模型和所述第一学生模型，获取所述第一教师模型输出的第一结果和所述第一学生模型输出的第二结果；

(B)根据所述第一结果、所述第二结果以及所述第一样本数据中的真值标注，获取第一损失信息；

(C)根据所述第一损失信息更新所述第一学生模型中各参数的权重系数；

若满足预设收敛条件，则根据更新后的第一学生模型获取所述目标学生模型；

若不满足预设收敛条件，则返回执行上述步骤(A)-(C)，直至满足所述预设收敛条件，获取所述目标学生模型。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一结果、所述第二结果以及所述第一样本数据中的真值标注，获取第一损失信息，包括：

根据所述第一结果和所述第二结果，获取第二损失信息；

根据所述第一结果和所述第一样本数据中的真值标注，获取第三损失信息；

根据所述第二损失信息和所述第三损失信息，获取所述第一损失信息。

6.根据权利要求5所述的方法，其特征在于，若所述第一结果包括所述第一教师模型的中间层输出的结果，所述第二结果包括所述第一学生模型的中间层输出的结果；

则所述根据所述第一结果和所述第二结果，获取第二损失信息，包括：

根据所述第一教师模型的中间层输出的结果和所述第一学生模型的中间层输出的结果之间的均方误差，获取所述第一学生模型的中间层对应的损失信息；

其中，所述第二损失信息包括：所述第一学生模型的中间层对应的损失信息。

7.根据权利要求5所述的方法，其特征在于，若所述第一结果包括所述第一教师模型的输出层输出的结果，所述第二结果包括所述第一学生模型的输出层输出的结果；

所述根据所述第一结果和所述第二结果，获取第二损失信息，包括：

根据所述第一教师模型的输出层输出的结果和所述第一学生模型的输出层输出的结果之间的KL散度，获取所述第一学生模型的输出层对应的损失信息；

其中，所述第二损失信息包括：所述第一学生模型的输出层对应的损失信息。

8.一种模型训练装置，其特征在于，包括：

获取模块，用于获取目标任务对应的第一样本数据集、第一教师模型和第一学生模型；其中，所述第一样本数据集包括至少一个第一样本数据；所述第一教师模型和所述第一学生模型均包括经过预训练的模型；

知识蒸馏模块，用于根据所述第一样本数据集、所述第一教师模型以及所述第一学生模型进行知识蒸馏，直至满足预设收敛条件，获得目标学生模型。