[发明专利]模型蒸馏方法、目标检测方法、装置及电子设备

权利要求书

1.一种模型蒸馏方法，其特征在于，所述方法包括：

通过第一网络对样本图像进行特征提取，得到所述样本图像对应的第一特征图；以及，通过第二网络对样本图像进行特征提取，得到所述样本图像对应的第二特征图；其中，所述第一网络的复杂度大于所述第二网络，所述第二特征图中至少包括一个对象的检测框以及该检测框对应的类别得分；

确定所述第二特征图中的目标区域；其中，所述目标区域为所述类别得分在得分阈值区间的检测框对应的区域；

根据所述第一特征图和所述第二特征图确定所述第二特征图的第一损失值；以及，根据所述第一特征图、所述第二特征图和标签特征图，确定所述第二特征图中的目标区域对应的第二损失值；其中，所述标签特征图为对所述样本图像对应的标签图像进行特征提取得到的特征图；

根据所述第一损失值和所述第二损失值，对所述第二网络进行蒸馏训练。

2.根据权利要求1所述的方法，其特征在于，根据所述第一特征图、所述第二特征图和标签特征图，确定所述第二特征图中的目标区域对应的第二损失值的步骤，包括：

根据所述第一特征图和所述第二特征图确定第一样本；

对所述第一样本、第二样本及第三样本进行损失值计算，得到所述第二特征图的第三损失值；其中，所述第二样本为所述第一特征图，所述第三样本为所述标签特征图；

根据所述第二特征图的第三损失值确定所述第二特征图中的目标区域对应的第二损失值。

3.根据权利要求2所述的方法，其特征在于，根据所述第一特征图和所述第二特征图确定第一样本的步骤，包括：

对所述第一特征图和所述第二特征图进行第一融合处理，得到第一融合分量；

对所述第一特征图和所述第二特征图进行第二融合处理，得到第二融合分量；其中，所述第一融合处理不同于所述第二融合处理；

将所述第一融合分量和所述第二融合分量进行第三融合处理，得到所述第一样本。

4.根据权利要求3所述的方法，其特征在于，对所述第一特征图和所述第二特征图进行第一融合处理，得到第一融合分量的步骤，包括：

对所述第一特征图以及所述第二特征图分别进行池化处理，得到所述第一特征图对应的第一池化特征，以及所述第二特征图对应的第二池化特征；

将所述第一池化特征和所述第二池化特征进行第四融合处理，得到第一融合分量。

5.根据权利要求3所述的方法，其特征在于，对所述第一特征图和所述第二特征图进行第二融合处理，得到第二融合分量的步骤，包括：

将所述第一特征图作为Transformer模型的K向量和V向量；

将所述第二特征图作为所述Transformer模型的Q向量；

通过所述Transformer模型对所述K向量、所述V向量以及所述Q向量进行第五融合处理，得到第二融合分量。

6.根据权利要求2所述的方法，其特征在于，根据第二特征图的第三损失值确定第二特征图中的目标区域对应的第二损失值的步骤，包括：

将所述第三损失值与权重矩阵进行加权求和处理，得到所述第二特征图在所述目标区域的第二损失值；其中，所述权重矩阵中所述目标区域对应第一权重值，所述权重矩阵中所述目标区域以外的区域对应第二权重值，且所述第一权重值大于所述第二权重值。

7.根据权利要求1所述的方法，其特征在于，根据所述第一特征图和所述第二特征图确定所述第二特征图的第一损失值的步骤，包括：

计算所述第一特征图和所述第二特征图之间的相对熵；

根据所述相对熵确定所述第二特征图的第一损失值。

8.一种目标检测方法，其特征在于，所述方法包括：

获取待检测的样本图像；

通过学生网络对所述样本图像进行目标检测，得到所述样本图像对应的检测结果；

其中，所述学生网络通过权利要求1-7任一项所述的方法训练得到。