[发明专利]基于桥接知识蒸馏卷积神经网络的图像分类方法

说明书

本发明公开了一种基于桥接知识蒸馏卷积神经网络的图像分类方法，主要解决现有技术在知识蒸馏过程中信息丢失造成的学生网络图像分类准确率较低的问题，实现步骤为：(1)构建教师网络与学生网络；(2)生成训练集：(3)训练教师网络：(4)构建桥接结构：(5)训练学生网络：(6)对待分类图像进行分类。本发明在教师网络与学生网络之间构建桥接结构，根据KL散度损失函数与交叉熵损失函数训练学生网络，使得学生网络同时具有较高的图像分类准确率与较低的终端部署需求，可用于在低算力、低存储的终端设备上对图像进行分类识别。

技术领域

本发明属于图像处理技术领域，更进一步涉及图像分类技术领域中的一种基于桥接知识蒸馏卷积神经网络的图像分类方法。本发明可用于在低算力、低存储的终端设备上对图像进行分类识别。

背景技术

卷积神经网络中最经典的网络是ResNet，ResNet通过引入“跳跃连接”，有效地缓解了神经网络训练中的梯度消失问题，成功训练出上百甚至上千层的卷积神经网络。通常，网络层数越多，参数量越大，网络的表达能力越强，在图像分类任务中能够取得更高的准确率。规模大的卷积神经网络推理时间长，存储开销大，而在安全生产、工业质检、智能硬件等应用场景中，终端设备的内存容量、算力有限，这对卷积神经网络的部署造成了极大的阻碍；直接设计小规模的卷积神经网络尽管利于终端部署，但是又存在分类准确率不高的问题。因此卷积神经网络的分类准确率与效率难以兼得。

知识蒸馏是一类常见的模型压缩算法，该类方法通常选取一个规模大精度高的网络为“教师网络”，选取一个规模小精度较差的网络为“学生网络”，通过引导学生网络模拟教师网络的输出，实现教师网络到学生网络的“知识”迁移，使得学生网络达到接近教师网络的精度。

Zagoruyko在其发表的论文“Paying more attention to attention:Improvingthe performance of convolutional neural networks via attention transfer”(InInternational Conference on Learning Representations,2017)中提出了一种基于注意力的知识蒸馏的图像分类方法。该方法将教师网络和学生网络的网络中间层输出特征转换为注意力特征，通过最小化教师网络与学生网络注意力特征之间的差异，让学生网络学习到教师网络中间层所关注的图像区域，完成教师网络到学生网络的知识迁移，使得规模小的学生网络图像分类准确率得到提升。该方法存在的不足之处是：该方法将教师网络和学生网络的网络中间层输出特征转换为注意力特征，但中间层输出中包含空间维度和通道维度两部分信息，该方法是对空间维度特征的整合，通道维度特征被完全忽视了，这部分知识并不能被迁移至学生网络，导致规模小的学生网络的图像分类准确率较低。

Byeongho Heo在其发表的论文“Knowledge transfer via distillation ofactivation boundaries formed by hidden neurons”(In AAAI Conference onArtificial Intelligence,2019)中提出了一种利用神经元激活边界的知识蒸馏的图像分类方法。该方法通过设定阈值来判定教师网络与学生网络中间层的隐层神经元是否激活，若神经元激活值大于该阈值，则认为其处于激活状态，若小于激活值，则认为没有激活，该方法以此指导学生网络对应中间层的神经元是否应该激活，将该信息传导至学生网络中，使得规模小的学生网络图像分类准确率得到提升。该方法存在的不足之处是：该方法通过设定阈值的方式来判定教师网络中间层的神经元是否激活，并以此指导学生网络中间层的对应神经元是否激活，这样做只能教给学生网络对应神经元是否应该激活，而没有教给学生网络对应神经元激活后的幅值信息，没有将完整的神经元激活信息传递给学生网络，造成学生网络收敛较慢。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种基于桥接知识蒸馏卷积神经网络的图像分类方法，旨在解决现有技术在知识蒸馏过程中信息丢失造成的学生网络图像分类准确率较低的问题。