[发明专利]一种基于图像知识回顾的深度卷积神经网络自蒸馏方法

说明书

本发明公开了本发明公开一种基于图像知识回顾的深度卷积神经网络自蒸馏方法，该方法首先针对目标网络设置辅助网络，在目标网络的下采样层引出分支，采用知识回顾的思路依次融合和连接各个分支，在训练过程中，通过监督学习以及采用目标网络的下采样层向引出分支层进行学习的方式，达到自蒸馏的目的。本发明在深度卷积神经网络自蒸馏领域引入知识回顾的思路，提高了深度卷积神经网络的训练精度；采用辅助网络的形式进行自蒸馏，相对使用数据增强来拉进类内距离的自蒸馏方法，在实际应用中更加简洁方便。

技术领域

本发明涉及人工智能及计算机视觉技术领域，尤其是涉及一种基于图像知识回顾的深度卷积神经网络自蒸馏方法。

背景技术

随着智能化的发展，大规模摄像头产生海量视频，为了提高视频结构化的效率，实际场景对摄像头的端侧处理能力提出了很高的要求。

针对于此，类似MobileNet、ShuffleNet等紧凑型的小型网络模型，以低资源消耗的优势，极大推进了端侧推理性能的发展。MobileNet、ShuffleNet等紧凑型的小型网络本身的设计，有效降低了端侧的推理耗时和硬件资源消耗，然而其推理精度相对于大规模的网络模型存在一定劣势，在网络结构限定的条件下，进一步提高其训练后的精度性能具有重要意义。

在网络结构限定的条件下，提高模型训练精度性能的常用方法是知识蒸馏，即设定异构的结构规模较大的教师网络和结构紧凑的学生网络，将教师网络学习到的信息传递给学生网络。然而，实际场景中不一定可以在所有任务中都顺利的获取教师模型，有的大网络由于数据的缺失，很难被正常的训练出来。基于这种情况，自我学习的自蒸馏训练策略应运而生。

目前，自蒸馏方法主要分为基于数据增强的方法和基于辅助网络的方法，其中基于数据增强的方法在训练过程中较为复杂，在实际应用上缺乏一定简洁性，基于辅助网络的方法较为简洁，但是精度的提升与网络的复杂度往往是一对矛盾，亟待寻求一种在自蒸馏训练中，对精度提升较大又不过于复杂的辅助网络，使得实际工程应用深度卷积神经网络自蒸馏训练中，既简洁方便有又具有较好的精度提升。

发明内容

为解决现有技术的不足，利用知识回顾的方法，回顾融合深层网络的语义信息和浅层网络的信息，实现既保持辅助网络的简洁，同时达到提升自蒸馏训练精度的目的，本发明采用如下的技术方案：

一种基于图像知识回顾的深度卷积神经网络自蒸馏方法，包括如下步骤：

S1，根据目标卷积神经网络的原始网络结构，构建辅助网络，从每个下采样层的前一层以及最后的全连接层引出分支特征；

S2，辅助网络中待融合的分支特征A与原始网络中更浅层的分支特征B，通过注意力融合模块进行融合，融合后的特征尺寸与原始网络中更浅层的分支特征B尺寸相同，将融合后特征输入辅助网络，并将辅助网络的各层依次连接，为了拉近类内距离，引入注意力机制进行特征融合，所述融合，包括如下步骤：

S21，辅助网络中待融合的分支特征A，经过上采样操作和卷积操作，使得辅助网络中待融合分支特征A的宽高、通道数与原始网络中更浅层的分支特征B相同；

S22，将A与B分别进行通道注意力操作，在宽高方向进行全局平均池化和全局最大池化操作，将得到的特征相加后，经过sigmoid操作，与原分支特征在通道方向相乘，分别得到通道注意力操作后的辅助网络中待融合的分支特征A1与原始网络中更浅层的分支特征B1；

S23，空间注意力融合，将A1与B1在通道方向进行拼接操作，在通道方向分别进行全局平均池化和全局最大池化操作后，再次在通道方向进行拼接操作、卷积操作，经过sigmoid操作后，分别与A1、B1在宽高尺度上相乘，得到空间注意力融合后的辅助网络中待融合的分支特征A2与原始网络中更浅层的分支特征B2；

S24，将A2与B2相加，得到融合后的特征；