[发明专利]一种循环自蒸馏学习的目标分类系统和方法

说明书

本发明针对现有基于深度学习的目标分类方法存在的样本错误标记、类别模糊、不同深度的特征知识表示的层次关系不明显的难题，提供一种循环自蒸馏学习的目标分类系统和方法，可以显著提高基于深度学习的目标识别准确率，为基于深度学习的目标分类领域提供核心技术支撑。

技术领域

本发明属于信号与信息处理领域，具体涉及一种目标分类系统和方法。

背景技术

基于机器学习的目标分类方法目的是学习从目标数据空间到目标标签空间的映射关系。完成训练的机器学习模型能对未知目标数据进行分类。目标分类方法在计算机视觉领域应用广泛，在民用上，广泛应用于自动驾驶、机器人导航、智能监控等领域；在军事上，广泛应用于无人侦察监视、精确制导、威胁判别等领域。近年，随着高速运算硬件、大数据以及深度学习技术的快速发展，基于深度学习的目标分类准确率大幅超过传统方法，并在多个数据集上达到了超越人类水平的识别性能。

然而，基于深度学习的目标分类仍面临以下问题：

1）错误标注：深度学习依赖大量高质量的标注数据，很多领域的样本从搜索引擎或者开源数据集获取，这些数据存在标注质量不高、误标记等较多的问题。

2）模糊类别：比如图像识别中，狮子和猫之间存在类别模糊的问题，即类别特征分布存在重叠区域，使用传统的独热编码（one-hot label）标签和交叉熵损失函数进行网络训练，可能导致模型过拟合，降低泛化性能。

3）知识表示问题：性能较好的神经网络往往层数较多，大多数网络模型只利用最后一层输出的特征进行识别，这会导致网络各层之间只存在前后位置关系，网络内部缺少更深层次的知识表示关系。

发明内容

本发明针对上述问题，提出一种循环自蒸馏学习的目标分类系统和方法。将一个网络分割成若干串联的子网络，每个子网络经过一个轻量级预测网络后得到一组预测结果，当前预测网络的预测结果与独热编码标签（one-hot label）进行加权平均后作为下一个预测网络的标签，使得下一个预测网络的学习标签比当前预测网络更接近真值标签（独热编码标签），表明更深的网络拥有更强的表示和拟合能力。最后一个预测网络的预测结果作为第一个预测网络的标签，对第一个预测网络和子网络进行知识蒸馏，使得第一个预测网络和子网络的表示能力得到提升，实现循环自蒸馏学习。不让人为标记的独热编码标签（one-hot label）直接参与神经网络学习，使网络有足够的空间进行自我调整，一定程度上解决了错误标注、类别模糊带来的训练难题。另一方面，循环自蒸馏方法显式的让网络表示能力随着网络层数增加而逐渐提升，使深层网络内部建立了内在的知识表示关系。显著提高了基于深度学习的目标识别准确率。循环自蒸馏学习框图如图1所示。

本发明目的在于实现一种循环自蒸馏学习的目标分类系统和方法。针对现有基于深度学习的目标分类方法存在的样本错误标记、类别模糊、不同深度的特征知识表示的层次关系不明显的难题，提供一种循环自蒸馏学习的目标分类系统和方法，可以显著提高基于深度学习的目标识别准确率，为基于深度学习的目标分类领域提供核心技术支撑。