[发明专利]一种自知识蒸馏和无监督方法相结合的自然图像分类方法

权利要求书

1.一种自知识蒸馏和无监督方法相结合的自然图像分类方法，其特征在于无监督对于图像特征的抽取能力，具体如下：

S1:数据部分

使用Cifar100数据集作为图像分类训练数据集；Cifar100数据集中包含6万张训练图片，其中5万张图片为训练集，1万张图片为测试集，总共有10个类别；

S1.1使用简单的随机裁减、水平反转方式进行数据增强处理

S1.2将数据进行Normalize操作；随机打乱后分成不同批次；

S2训练部分

S2.1根据深度划分的模型最深一层当做教师网络，用它的输出使用知识蒸馏方式来监督其他浅层分支；

S2.2设计好的根据深度划分的模型以及设计的解码器部分结合到一起，构造出整个网络；

S2.3经过预处理的数据输入到设计好的网络模型中，得到每个分支结构经过全连接层前的特征值

S2.4特征值输入到设计好的解码器，解码器最后输出一张与输入数据大小相同的特征，本质是还原初始图片；单独的编解码结构设计不同的权重的MSE损失；

S2.5将全连接前的特征输入到全连接，经过softmax得到预测值；预测值与真实label求交叉熵损失；

S2.6训练过程中需要设置超参数温度系数，温度系数可以将教师以及学生网络最后预测的输出变得比较平缓；平缓后的分布求出KL散度，来让深层次的知识转移到浅层次；

S2.7在训练过程中，在不同的轮次对学习率进行衰减，加速模型的收敛；并且引入了L2正则；

α、β是为了平衡各个损失；β里存放了各个分支不同的权重；

交叉熵损失函数CrossEntropy(pⁱ,y)，pⁱ表示网络最后对样本的预测值，i的取值范围是多个分支值；KL()为知识蒸馏的损失函数，它是两个输出之间的Kullback-Leibler散度,通过这个损失将深层教师信息传递给浅层小的学生网络；MSE是解码出来的部分对于原始图片产生的损失；β＝[β¹,β¹…,βⁱ],存放了各个分支不同的解码损失权重；不同深度的单独自编码器对用不同的β；

前向传播完成后，可以得到m,pⁱ,根据上面损失函数来求得这一批次的损失值；使用随机梯度下降方法来训练整个网络；当所有批次反向传播一次完成后，这一轮就结束；

S2.8根据上面叙述的过程重复训练，直到模型最后收敛；

S3测试过程

S3.1设计的模型是无监督自编码器与原有的结构结合在了一起；当要进行模型预测的时候，去掉整体中的自编码器部分，只加载主干及分支结构；

S3.2把需要预测的图片输入到模型中，得到分类结果。

2.根据权利要求1所述的一种自知识蒸馏及无监督方法结合的自然图像分类方法，其特征在于：无监督自编码器产生的损失加到总损失上。

3.根据权利要求1所述的一种自知识蒸馏及无监督方法结合的自然图像分类方法，其特征在于：设计的解码器要与分支结构的特征输出相匹配，从而可以连接到一起。

4.根据权利要求1所述的一种自知识蒸馏及无监督方法结合的自然图像分类方法，其特征在于：多出口多个分支结构共用一个解码器，增加特征之间的相似性。