[发明专利]模型训练方法、装置、计算机设备和存储介质

说明书

本申请涉及一种模型训练方法、装置、计算机设备和存储介质，包括：获取已训练的教师模型以及待训练的学生模型；教师模型和学生模型均包括特征提取器、主分类器以及从分类器；从分类器根据特征提取器输出的每一张样本图像的图像特征分别创建得到；将样本图像输入教师模型，得到通过教师模型的主分类器输出的第一主分类结果，以及从分类器输出的第一从分类结果和第一类别信息；将样本图像输入待训练的学生模型，得到通过待训练的学生模型的主分类器输出的第二主分类结果，从分类器输出的第二从分类结果和第二类别信息，构建得到学生模型的目标损失函数；根据目标损失函数对待训练的学生模型进行迭代训练；本申请提高了学生模型的性能。

技术领域

本申请涉及计算机技术领域，特别是涉及一种模型训练方法、装置、计算机设备和存储介质。

背景技术

蒸馏学习采用的是迁移学习，利用预先训练好的教师模型的输出作为监督信号去训练学生模型，以获得结构精简学生模型。

然而，现有的基于蒸馏学习的模型训练方法通常只考虑到了图像的全局性特征，从而无法得到性能更佳的学生模型；因此，现有的学生模型的性能还较低。

发明内容

基于此，有必要针对上述技术问题，提供一种模型训练方法、装置、计算机设备和存储介质。

一种图像分割模型训练方法，包括：

获取已训练的教师模型以及待训练的学生模型；所述教师模型和所述学生模型均包括特征提取器、主分类器以及从分类器；所述从分类器根据所述特征提取器输出的每一张样本图像的图像特征所创建得到；

将所述样本图像输入所述教师模型，得到通过所述教师模型的主分类器输出的第一主分类结果，以及通过所述教师模型的从分类器输出的第一从分类结果和第一类别信息；

将所述样本图像输入所述待训练的学生模型，得到通过所述待训练的学生模型的主分类器输出的第二主分类结果，以及通过所述待训练的学生模型的从分类器输出的第二从分类结果和第二类别信息；

根据所述第一主分类结果、所述第一从分类结果、所述第二主分类结果、所述第二从分类结果、所述第一类别信息和所述第二类别信息，构建得到所述学生模型的目标损失函数；

根据所述目标损失函数对所述待训练的学生模型进行迭代训练，得到训练完成的学生模型；所述训练完成的学生模型用于对输入的图像进行语义分割。

在其中一个实施例中，所述构建得到所述学生模型的模型损失函数，包括：

基于所述第一主分类结果以及所述第二主分类结果，构建第一损失函数；

基于所述第一类别信息以及所述第二类别信息，构建第二损失函数；

基于所述第一从分类结果以及所述第二从分类结果，构建第三损失函数；

根据所述第一损失函数、所述第二损失函数、所述第三损失函数以及所述第二主分类结果的交叉熵损失函数，确定出所述目标损失函数。

在其中一个实施例中，所述第一损失函数通过以下方式获得，包括：

；

其中，L_kd为所述第一损失函数；H为所述样本图像的高度，W为所述样本图像的宽度，x为样本图像中的像素；p_t为第一主分类结果，p_s为第二主分类结果，为KL散度计算函数。