[发明专利]基于自蒸馏的图像分类方法、系统、存储介质和电子设备

说明书

本发明公开了一种基于自蒸馏的图像分类方法、系统、存储介质和电子设备，包括：基于多个图像样本，对卷积神经网络进行迭代训练，得到第一图像分类模型；将每个图像样本输入第一图像分类模型，得到并将输出特征图分别输入特征处理模块和注意力机制模块，得到并根据原始特征图和注意力特征图进行自蒸馏，得到并根据每个图像样本的自蒸馏损失值，对第一图像分类模型的参数进行优化，直至第二图像分类模型满足预设条件时，将第二图像分类模型确定为目标图像分类模型；将待测图像输入至目标图像分类模型，得到图像分类结果。本发明能够利用模型自身的注意力图进行蒸馏，在有效压缩图像分类模型训练时间的同时，确保了图像分类的效果不受影响。

背景技术

知识蒸馏是将知识从预先训练的较大的教师网络转移到学生网络的方法，使得较小的学生网络获得与教师网络相近的识别效果，同时降低部署时的计算复杂度。但现有的知识蒸馏方法，首先要训练较大的教师网络，待教师网络训练完成后，利用教师网络训练学生网络，这种方法虽然还可以有效提升学生网络的效果，但训练周期较长，难以维护。

因此，如何在不损失学生网络的效果的基础上，有效节省训练时间，是当前亟需解决的技术问题。

发明内容

为解决上述技术问题，本发明提供了一种基于自蒸馏的图像分类方法、系统、存储介质和电子设备。

本发明的基于自蒸馏的图像分类方法的技术方案如下：

基于多个图像样本，对用于图像分类的卷积神经网络进行迭代训练，得到第一图像分类模型；

将任一图像样本输入所述第一图像分类模型，得到该图像样本对应的输出特征图，并将所述输出特征图输入至特征处理模块，得到该图像样本的原始特征图，将所述输出特征图输入至注意力机制模块，得到该图像样本的注意力特征图，并基于该图像样本的原始特征图和注意力特征图进行自蒸馏，得到该图像样本的自蒸馏损失值，直至得到每个图像样本的自蒸馏损失值；

基于所有的自蒸馏损失值，对所述第一图像分类模型的参数进行优化，得到第二图像分类模型，将所述第二图像分类模型作为所述第一图像分类模型并返回执行所述将任一图像样本输入所述第一图像分类模型的步骤，直至所述第二图像分类模型满足预设训练条件时，将所述第二图像分类模型确定为目标图像分类模型；

将待测图像输入至所述目标图像分类模型，得到所述待测图像的图像分类结果。

本发明的基于自蒸馏的图像分类方法的有益效果如下：

本发明的方法不需要单独训练教师网络，能够利用模型自身的注意力图进行蒸馏，在有效压缩图像分类模型训练时间的同时，确保了图像分类的效果不受影响。

在上述方案的基础上，本发明的基于自蒸馏的图像分类方法还可以做如下改进。

进一步，所述特征处理模块包括：依次连接设置的通道维度的第一平均池化层和第一L2归一化层；

所述将所述输出特征图输入至特征处理模块，得到该图像样本的原始特征图的步骤，包括：

将所述输出特征图依次通过所述通道维度的第一平均池化层和所述第一L2归一化层进行通道维度平均池化处理和L2归一化处理，得到该图像样本的原始特征图。

进一步，所述注意力机制模块包括：全局平均池化层、节点权重计算模块、通道维度的第二平均池化层和第二L2归一化层；

所述将所述输出特征图输入至注意力机制模块，得到该图像样本的注意力特征图的步骤，包括：

将所述输出特征图输入至所述所述全局平均池化层进行全局平均池化处理，得到第一特征图；

通过所述节点权重计算模块获取所述第一特征图的正确预测节点所对应的权重，并将所述第一特征图的正确预测节点所对应的权重与所述输出特征图相乘，得到第二特征图；