[发明专利]一种基于通道自监督的在线知识蒸馏方法

权利要求书

1.一种基于通道自监督的在线知识蒸馏方法，其特征在于：所述在线知识蒸馏方法包括：

粗粒度特征提取步骤：将数据进行归一化处理后的输出结果output分别输入到两个网络模型中进行特征提取；

自监督学习步骤：将经过粗粒度特征提取步骤后的特征图输入到样本多样性模块中进行特征转换操作，对数据输出不同的联合标签；

在线动态蒸馏步骤：通过对两个网络模型分别设置一个动态系数对具有同样特征转换的分支之间进行相互学习，不断优化两个网络多样性模块的权重，并在损失函数值最小时输出输入样本的标签。

2.根据权利要求1所述的一种基于通道自监督的在线知识蒸馏方法，其特征在于：所述粗粒度特征提取步骤具体包括：将归一化后的样本送入到网络模型的卷积层对输入的数据进行下采样，使其能最大程度的保留原始图像信息，随后将输出通过BN层和激活函数后的值送入到网络模型前两层进行卷积操作，通过卷积层中不同的卷积核对图像中不同的特征进行提取，每个卷积核在原图上滑动进行卷积计算生成一张特征图，针对不同的特征的卷积核进行卷积操作后生成一系列的特征图，完成对输入样本进行粗粒度特征提取，池化层通过一个固定的函数进行运算，不需要保留参数。

3.根据权利要求1所述的一种基于通道自监督的在线知识蒸馏方法，其特征在于：所述自监督学习步骤具体包括：将经过池化后的特征图送入到样本多样性模块中进行特征转换操作，对于不同特征转换的特征图送入到网络不同的分支中，在目标多样性模块中生成与不同特征增强方式对于的标签，在分支中进行自监督学习使网络模型识别需要丢弃方位的特征信息，提高网络模型的识别能力，最后通过分类器对数据输出不同的联合标签，表示图像原本的分类和进行的特征增强方式。

4.根据权利要求1所述的一种基于通道自监督的在线知识蒸馏方法，其特征在于：所述样本多样性模块在特征层级构造样本的多样性提取低级特征图，通过设置非重叠掩码来丢弃中间特征图中每个通道四分之一的信息，这些不重叠的掩码避免了后续的分类冲突，为后续提供具有差异性的输入避免训练后期网络的同质化，同时丢弃通道部分信息使网络模型更多地关注图像的全局内容，防止网络模型过度依赖某一特定的视觉特征，并让网络模型对丢掉的特征信息进行识别来训练网络的特征识别能力，提高分类任务的精度。

5.根据权利要求1所述的一种基于通道自监督的在线知识蒸馏方法，其特征在于：所述目标多样性模块使用一个联合标签来进行标签增强，以匹配对原始数据进行不同的特征转换，每个原始标签都会多一个额外的标签来表明不同中间特征图的数据增强，在进行标签增强时标签容量被扩充，扩充的标签空间连通特征转换的特征图形成一个自监督学习任务，对于扩充后的联合标签和不同特征转换的分类任务，网络模型强制识别相同样本不同的数据增强方式，使网络模型更好地识别不同的特征，同时在进行样本多样性操作时，不同的分支接收不同特征变化后的特征图，不同的分支通过不同的联合标签进行优化，以增加分支的多样性。

6.根据权利要求1所述的一种基于通道自监督的在线知识蒸馏方法，其特征在于：所述在线知识蒸馏步骤中将第一个网络模型的动态系数设置为α₁，第二个网络模型的动态系数设置为α₂，且α₂＝1/α₁，使用第一个网络模型对第二个网络模型预测的概率分布作为指导，使用KL散度来衡量两个网络模型预测概率之间的差距，从而对第一个网络模型进行优化。

7.根据权利要求1-6中任意一项所述的一种基于通道自监督的在线知识蒸馏方法，其特征在于：所述在线知识蒸馏方法还包括数据预处理步骤，所述数据预处理步骤包括：对图片通过随机裁剪和水平翻转进行数据增强，并通过Output＝(input-mean)/std对增强后的数据进行归一化处理，让数据都划分在一个固定的小区间内，其中，mean表示用于通道归一化的均值，std表示用于通道归一化的标准差的值，input表示输入数据。