[发明专利]一种目标检测网络蒸馏方法、装置、电子设备及存储介质

说明书

本发明公开了一种目标检测网络蒸馏方法、装置、电子设备及存储介质，用于解决现有的目标检测网络蒸馏方式蒸馏效果较差的技术问题。本发明包括：获取预训练目标检测网络；对所述预训练目标检测网络进行剪枝，得到学生网络；将预设检测图像输入所述预训练目标检测网络，得到第一中间特征；将所述预设检测图像输入所述学生网络，得到第二中间特征；根据所述第一中间特征和所述第二中间特征计算蒸馏损失；根据所述蒸馏损失优化所述学生网络，得到目标检测网络。

技术领域

本发明涉及知识蒸馏技术领域，尤其涉及一种目标检测网络蒸馏方法、装置、电子设备及存储介质。

背景技术

目标检测是当前计算机视觉领域的一个重要分支，具有极广泛的应用场景，相比于分类网络，它的参数量更多，模型结构更加复杂。自知识蒸馏被提出以来，以被广泛应用于模型压缩领域，其操作简单，相比于直接训练一个小的模型，知识蒸馏只需要先训练一个大的教师网络，再使用这个教师网络蒸馏小的学生网络，便可带来性能的提升。知识蒸馏问题的核心在于教师网络对学生网络的监督损失，即教师网络如何将最关键的信息传递给学生网络。现有的大多数知识蒸馏技术都是使用一个强大的教师网络训练一个较弱的学生网络。但如果两个模型的容量差异过大，可能导致蒸馏损失主导学生网络的训练方向，从而导致网络欠拟合；一些较新的技术采用中间特征作为教师网络和学生网络之间知识传递的桥梁。但是，中间特征位置的选取、特征损失的权重等还缺乏令人信服的解释，导致蒸馏效果较差。

发明内容

本发明提供了一种目标检测网络蒸馏方法、装置、电子设备及存储介质，用于解决现有的目标检测网络蒸馏方式蒸馏效果较差的技术问题。

本发明提供了一种目标检测网络蒸馏方法，包括：

获取预训练目标检测网络；

对所述预训练目标检测网络进行剪枝，得到学生网络；

将预设检测图像输入所述预训练目标检测网络，得到第一中间特征；

将所述预设检测图像输入所述学生网络，得到第二中间特征；

根据所述第一中间特征和所述第二中间特征计算蒸馏损失；

根据所述蒸馏损失优化所述学生网络，得到目标检测网络。

可选地，所述对所述预训练目标检测网络进行剪枝，得到学生网络的步骤，包括：

获取所述预训练目标检测网络的拟归一化层的缩放因子；

对所述缩放因子进行稀疏化，确定所述预训练目标检测网络各通道的绝对值；

移除绝对值小于预设阈值的通道，得到学生网络。

可选地，所述蒸馏损失包括第一蒸馏损失；所述根据所述第一中间特征和所述第二中间特征计算蒸馏损失的步骤，包括：

获取所述预训练目标检测网络中各特征的位置信息；

采用所述位置信息生成二维关键性矩阵；

以所述二维关键性矩阵作为权重，结合所述第一中间特征和所述第二中间特征计算第一蒸馏损失。

可选地，所述蒸馏损失还包括第二蒸馏损失，所述根据所述第一中间特征和所述第二中间特征计算蒸馏损失的步骤，还包括：

根据所述第一中间特征获取第一关键性向量；

以所述第一关键性向量作为损失系数，结合所述第一中间特征和所述第二中间特征计算第二蒸馏损失。

可选地，所述第一关键性向量包括第一通道关键性向量、第一空间关键性向量和第一逐点关键性向量。

可选地，所述蒸馏损失还包括第三蒸馏损失，所述根据所述第一中间特征和所述第二中间特征计算蒸馏损失的步骤，还包括：