[发明专利]一种循环自蒸馏学习的目标分类系统和方法

权利要求书

1.一种循环自蒸馏学习的目标分类系统，其特征在于，该系统包括：输入模块、子网络1、子网络2、……、子网络n、……、子网络N、预测网络1、预测网络2、……、预测网络n、……、预测网络N、Loss1模块、Loss2模块、……、Lossn模块、……、LossN模块、第二加权平均模块、第三加权平均模块、……、第n+1加权平均模块、……、第N加权平均模块、独热编码模块；样本经输入模块依次送至子网络1、子网络2、……、子网络n、……、子网络N，子网络1、子网络2、……、子网络n、……、子网络N的输出分别送至预测网络1、预测网络2、……、预测网络n、……预测网络N，预测网络1、预测网络2、……、预测网络n、……、预测网络N的输出一路分别送至Loss1模块、Loss2模块、……、Lossn模块、……、LossN模块，一路分别送至第二加权平均模块、第三加权平均模块、……、第n+1加权平均模块、……、第N加权平均模块、Loss1模块，独热编码模块的输出分别送至第二加权平均模块、第三加权平均模块、……、第n+1加权平均模块、……、第N加权平均模块，第二加权平均模块、第三加权平均模块、……、第n+1加权平均模块、……、第N加权平均模块的输出分别送至Loss2模块、Loss3模块、……、Lossn+1模块、……、LossN模块。

2.一种循环自蒸馏学习的目标分类方法，其特征在于，该方法步骤如下：

步骤1、网络模型设计：将一个神经网络分割成若干串联的子网络，每个子网络经过一个轻量级预测网络后得到一组输出结果；

步骤2、损失函数设计：设计循环自蒸馏损失函数；

步骤3、预训练：前p个训练周期，利用独热编码训练神经网络，使神经网络快速收敛；

步骤4、新标签获取：首先，将当前批次样本送入神经网络，每个预测网络都得到一组预测结果；然后，当前预测网络的预测结果与独热编码标签进行加权平均后作为下一个预测网络的标签，排在最后的预测网络的预测结果作为第一个预测网络的标签；

步骤5、训练：利用当前批次获取的新标签和循环自蒸馏损失函数对神经网络模型进行训练；

步骤6、迭代训练：重复步骤4-步骤5，直到训练结束；

步骤7、测试：利用训练好的神经网络在测试集上进行测试。

3.根据权利要求2所述的方法，其特征在于，步骤1具体为：采用ResNet50作为主干网络，并将其分割为N个子网络，第一个子网络包含ResNet50的Stage1、Stage2、……、Stagek共k个网络模块，其输出特征经过预测网络1得到预测结果，第二个子网络包含ResNet50的Stage(k+1)网络模块，其输出特征经过预测网络2得到预测结果，……，第n个子网络包含ResNet50的Stage(k+n-1)网络模块，其输出特征经过预测网络n得到预测结果，……，第N个子网络包含ResNet50的Stage(k+N-1)网络模块，其输出特征经过预测网络N得到预测结果；预测网络的参数量和计算量都相对较小；分别在cifar-10和cifar-100数据集上验证方法效果。

4.根据权利要求2所述的方法，其特征在于，步骤2中的循环自蒸馏损失函数采用交叉熵损失函数，不同之处在于N个输出网络的标签、、……、、……、的构建；第n个预测网络的损失函数为：

（1）

n=1、2、……、N；

其中，为总类别数，为预测网络标签中第类的标注概率，为预测网络的预测结果中第类的预测概率；总体损失函数为：

（2）

其中，为预测网络数量，为第个预测网络的损失函数的权重。

5.根据权利要求2所述的方法，其特征在于，步骤3具体为：前p个训练周期，利用独热编码t_one-hot训练神经网络，即，使神经网络快速收敛。