[发明专利]模型蒸馏方法、目标检测方法、装置及电子设备

说明书

本发明提供了一种模型蒸馏方法、目标检测方法、装置及电子设备，该方法包括：通过第一网络对样本图像进行特征提取，得到样本图像对应的第一特征图；以及，通过第二网络对样本图像进行特征提取，得到样本图像对应的第二特征图；确定第二特征图中的目标区域；并根据第一特征图和第二特征图确定第二特征图的第一损失值；以及，根据第一特征图、第二特征图和标签特征图，确定第二特征图中的目标区域对应的第二损失值；根据第一损失值和第二损失值，对第二网络进行蒸馏训练，对于难以识别的目标区域，不仅考虑到第一损失值，还融合了第二损失值，实现了对目标样本区域的增强训练，达到更好的蒸馏效果，从而使蒸馏得到的第二网络模型的预测结果更准确。

技术领域

本发明涉及机器学习技术领域，尤其是涉及一种模型蒸馏方法、目标检测方法、装置及电子设备。

背景技术

现有的目标检测领域中的模型蒸馏方法,主要是使用表达能力较强，参数较多的教师模型对计算效率较高且更轻量的学生模型进行知识蒸馏。一般在网络前向的中间特征图处将点对点的欧式距离(L2)或KL散度(Kullback-Leibler divergence，KL差异)作为蒸馏的损失函数，在蒸馏过程中，教师模型的参数固定不动，不断优化学生模型的参数使学生模型的蒸馏损失值最小化。

对于样本数据中难以区分样本数据包含的对象类别的较难的样本区域，例如图像中的对象难以区分属于哪种类型的区域，目前的方法是在较难的样本区域处加大训练力度，即给予较大权重去加强利用这些样本进行蒸馏。但是通过这种方式得到的学生网络的精度极大依赖于对参数的精细调整，因此这种方法进行难样本蒸馏得到的学生网络的精度不稳定，尤其针对某些特定应用场景的训练集，当样本中难样本区域较多时，会导致无法有效训练出学生网络。

发明内容

有鉴于此，本发明的目的在于提供一种模型蒸馏方法、目标检测方法、装置及电子设备，以提高学生网络预测结果的准确性。

第一方面，本发明实施例提供一种模型蒸馏方法，该方法包括：通过第一网络对样本图像进行特征提取，得到样本图像对应的第一特征图；以及，通过第二网络对样本图像进行特征提取，得到样本图像对应的第二特征图；其中，第一网络的复杂度大于第二网络，第二特征图中至少包括一个对象的检测框以及该检测框对应的类别得分；确定第二特征图中的目标区域；其中，目标区域为类别得分在得分阈值区间的检测框对应的区域；根据第一特征图和第二特征图确定第二特征图的第一损失值；以及，根据第一特征图、第二特征图和标签特征图，确定第二特征图中的目标区域对应的第二损失值；其中，标签特征图为对样本图像对应的标签图像进行特征提取得到的特征图；根据第一损失值和第二损失值，对第二网络进行蒸馏训练。

进一步地，上述根据第一特征图、第二特征图和标签特征图，确定第二特征图中的目标区域对应的第二损失值的步骤，包括：根据第一特征图和第二特征图确定第一样本；对第一样本、第二样本及第三样本进行损失值计算，得到第二特征图的第三损失值；其中，第二样本为第一特征图，第三样本为标签特征图；根据第二特征图的第三损失值确定第二特征图中的目标区域对应的第二损失值。

进一步地，上述根据第一特征图和第二特征图确定第一样本的步骤，包括：对第一特征图和第二特征图进行第一融合处理，得到第一融合分量；对第一特征图和第二特征图进行第二融合处理，得到第二融合分量；其中，第一融合处理不同于第二融合处理；将第一融合分量和第二融合分量进行第三融合处理，得到第一样本。

进一步地，上述对第一特征图和第二特征图进行第一融合处理，得到第一融合分量的步骤，包括：对第一特征图以及第二特征图分别进行池化处理，得到第一特征图对应的第一池化特征，以及第二特征图对应的第二池化特征；将第一池化特征和第二池化特征进行第四融合处理，得到第一融合分量。