[发明专利]基于特征分析的自蒸馏学习方法、设备以及可读存储介质

说明书

本申请公开了一种基于特征分析的自蒸馏学习方法、设备以及可读存储介质，该基于特征分析的自蒸馏学习方法包括：基于卷积神经网络的深度和原始结构，以设定的深度区间将卷积神经网络的卷积层划分为n个部分的特征层，n为正整数且n≥2；将训练集输入卷积神经网络进行训练，获取每一部分特征层的损失函数；基于所有特征层的损失函数优化卷积神经网络，得到训练好的卷积神经网络。通过上述方法，本申请可以通过利用各个不同部分的特征层的损失函数进行蒸馏学习，有效地利用了卷积神经网络的结构信息，提高自蒸馏学习效果。

技术领域

本申请涉及卷积神经网络的训练技术领域，特别是涉及一种基于特征分析的自蒸馏学习方法、设备以及可读存储介质。

背景技术

卷积神经网络已经被广泛地部署在各种应用场景。为了将应用的范围扩展到一些精度至关重要的领域，研究人员一直在研究通过更深或更宽的网络结构来提升精度的方法，这会为其带来计算和存储成本的指数式增长，从而会延迟响应时间。

在卷积神经网络的帮助下，诸如图像分类、对象检测和语义分割之类的应用目前正在以前未有的速度发展。然而，在一些要求不容错的应用，诸如自动驾驶和医学图像分析中，需要进一步改进预测和分析精度，同时需要更短的响应时间。这导致当前卷积神经网络面临巨大的挑战。现有技术中的方法侧重于性能改进或减少计算资源，从而能够减少响应时间。例如，一方面，已经提出了ResNet 150或甚至更大的ResNet 1000用来改善非常有限的性能裕度，但是具有大幅计算代价。另一方面，在与神经网络相比具有预定义的性能损失的情况下，已经提出了各种技术来减少计算和存储量，以匹配硬件实现所带来的限制。这样的技术包括轻量级网络设计、修剪和量化等，其中知识蒸馏是实现模型压缩的可行方法之一。

现有技术中通过提出的自蒸馏学习方法可以进行高效的训练，但是没有考虑到不同深度的特征层知识的特点，而是统一进行自我学习，没有做到因材施教，使得自蒸馏的学习效果受限。

发明内容

本申请提供一种基于特征分析的自蒸馏学习方法、设备以及可读存储介质。

本申请提供的一个技术方案是：提供一种基于特征分析的自蒸馏学习方法，所述自蒸馏学习方法包括：

基于卷积神经网络的深度和原始结构，以设定的深度区间将所述卷积神经网络的卷积层划分为n个部分的特征层，n为正整数且n≥2；

将训练集输入所述卷积神经网络进行训练，获取每一部分特征层的损失函数；

基于所有特征层的损失函数优化所述卷积神经网络，得到训练好的卷积神经网络。

在一些可能的实施例中，所述卷积神经网络划分的特征层至少包括浅层特征层、中层特征层以及深层特征层；其中，所述浅层特征层、所述中层特征层以及所述深层特征层依次连接；

所述将训练集输入所述卷积神经网络进行训练的步骤，包括：

将所述训练集输入所述浅层特征层，得到浅层特征知识；

将所述浅层特征知识输入所述中层特征层，得到中层特征知识；

将所述中层特征知识输入所述深层特征层，得到深层特征知识。

在一些可能的实施例中，所述自蒸馏学习方法还包括：

将所述训练集输入所述浅层特征层，得到所述浅层特征层的损失因子；

基于所述浅层特征层的损失因子输出所述浅层特征层的结构损失函数；

其中，所述结构损失函数的函数结构基于所述浅层特征层的特异性特点进行设计。

在一些可能的实施例中，所述自蒸馏学习方法还包括：

将所述浅层特征知识输入所述中层特征层，得到所述中层特征层的损失因子；