[发明专利]一种目标检测网络蒸馏方法、装置、电子设备及存储介质

权利要求书

1.一种目标检测网络蒸馏方法，其特征在于，包括：

获取预训练目标检测网络；

对所述预训练目标检测网络进行剪枝，得到学生网络；

将预设检测图像输入所述预训练目标检测网络，得到第一中间特征；

将所述预设检测图像输入所述学生网络，得到第二中间特征；

根据所述第一中间特征和所述第二中间特征计算蒸馏损失；

根据所述蒸馏损失优化所述学生网络，得到目标检测网络；

其中，所述对所述预训练目标检测网络进行剪枝，得到学生网络的步骤，包括：

获取所述预训练目标检测网络的拟归一化层的缩放因子；

对所述缩放因子进行稀疏化，确定所述预训练目标检测网络各通道的绝对值；

移除绝对值小于预设阈值的通道，得到学生网络；

其中，所述蒸馏损失包括第一蒸馏损失；所述根据所述第一中间特征和所述第二中间特征计算蒸馏损失的步骤，包括：

获取所述预训练目标检测网络中各特征的位置信息；

采用所述位置信息生成二维关键性矩阵；

以所述二维关键性矩阵作为权重，结合所述第一中间特征和所述第二中间特征计算第一蒸馏损失；

所述第一蒸馏损失计算过程为：

；

其中，为第一蒸馏损失，为通道高、宽的第一中间特征，为通道高、宽的第二中间特征；为二维关键性矩阵；为通道高、宽的二维关键性矩阵；H为特征的高；W为特征的宽。

2.根据权利要求1所述的方法，其特征在于，所述蒸馏损失还包括第二蒸馏损失，所述根据所述第一中间特征和所述第二中间特征计算蒸馏损失的步骤，还包括：

根据所述第一中间特征获取第一关键性向量；

以所述第一关键性向量作为损失系数，结合所述第一中间特征和所述第二中间特征计算第二蒸馏损失。

3.根据权利要求2所述的方法，其特征在于，所述第一关键性向量包括第一通道关键性向量、第一空间关键性向量和第一逐点关键性向量。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述蒸馏损失还包括第三蒸馏损失，所述根据所述第一中间特征和所述第二中间特征计算蒸馏损失的步骤，还包括：

获取所述第一中间特征的第一梯度，以及获取所述第二中间特征的第二梯度；

采用所述第一梯度计算第二关键性向量；

以所述第二关键性向量作为损失系数，结合所述第一梯度和所述第二梯度计算第三蒸馏损失。

5.一种目标检测网络蒸馏装置，其特征在于，包括：

预训练目标检测网络获取模块，用于获取预训练目标检测网络；

剪枝模块，用于对所述预训练目标检测网络进行剪枝，得到学生网络；

第一中间特征获取模块，用于将预设检测图像输入所述预训练目标检测网络，得到第一中间特征；

第二中间特征获取模块，用于将所述预设检测图像输入所述学生网络，得到第二中间特征；

蒸馏损失计算模块，用于根据所述第一中间特征和所述第二中间特征计算蒸馏损失；

优化模块，用于根据所述蒸馏损失优化所述学生网络，得到目标检测网络；

其中，所述剪枝模块，包括：

缩放因子获取子模块，用于获取所述预训练目标检测网络的拟归一化层的缩放因子；

绝对值确定子模块，用于对所述缩放因子进行稀疏化，确定所述预训练目标检测网络各通道的绝对值；

学生网络获取子模块，用于移除绝对值小于预设阈值的通道，得到学生网络；

其中，蒸馏损失包括第一蒸馏损失；蒸馏损失计算模块，包括：

位置信息获取子模块，用于获取预训练目标检测网络中各特征的位置信息；

二维关键性矩阵生成子模块，用于采用位置信息生成二维关键性矩阵；

第一蒸馏损失计算子模块，用于以二维关键性矩阵作为权重，结合第一中间特征和第二中间特征计算第一蒸馏损失；

所述第一蒸馏损失计算过程为：

；

其中，为第一蒸馏损失，为通道高、宽的第一中间特征，为通道高、宽的第二中间特征；为二维关键性矩阵；为通道高、宽的二维关键性矩阵；H为特征的高；W为特征的宽。