[发明专利]基于特征空间变化的蒸馏学习方法、系统、装置

说明书

本发明属于计算机视觉及机器学习领域，具体涉及了一种基于特征空间变化的蒸馏学习方法、系统、装置，旨在解决学生网络无法学习教师网络全局知识的问题。本发明方法包括：按照蒸馏学习教师网络的参数结构构建对应的学生网络；分别选取预设的网络层，计算每一层的特征空间表示以及特定两个层间的跨层特征空间变化矩阵；计算基于特征空间变化的损失函数，根据真实标签计算分类损失函数；通过两个损失函数的加权将教师网络的特征空间变化作为知识迁移到学生网络中。本发明将教师网络层与层之间的特征空间变化刻画为一种新的知识，从而，使得学生网络在学习层与层之间的特征空间变化时，就学习到整个教师网络全局的知识。

技术领域

本发明属于计算机视觉及机器学习领域，具体涉及了一种基于特征空间变化的蒸馏学习方法、系统、装置。

背景技术

蒸馏学习是计算机视觉和机器学习的一个重要研究领域。在蒸馏学习中，包含两个网络：一个为预训练好的，具有较强性能，但是计算复杂度高、要求存储空间大的教师网络；一个为待训练的，但是往往具有远低于教师网络的计算复杂度以及存储空间要求的学生网络。蒸馏学习旨在从教师网络中提取出有用的信息和知识来作为学生网络训练过程中的指导。在教师网络的指导下进行训练学习，学生网络可以获得比单独训练更加优良的性能。如此一来，蒸馏学习可以得到高性能、低计算复杂度、低存储消耗的学生网络。此方法特别适用于算力有限的移动设备和嵌入式设备。

蒸馏学习能够训练得到性能更好的学生网络，其根本原因在于性能强大的教师网络在训练过程中提供了除了数据以外的额外有用信息。因此，如何从教师网络中高效地挖掘对于学生有利的信息便成为了蒸馏学习的关键研究课题。由于蒸馏学习的首次提出是在2012年，其发展时间还十分有限，使用的方法目前也十分单一。目前流行的蒸馏学习方法几乎都使用教师网络某一层(或者某几层)的输出特征作为额外信息。在学习过程中，学生网络通过最小化欧式距离的方法，来学习对应层的特征，从而从教师网络中迁移知识。例如，最为流行的方法将教师网络输出的预测结果作为软标签，作为数据自带的真实标签以外的额外标签，来给学生网络提供知识。另外，也有方法将教师网络的中间层特征抽象化为注意力图谱，利用这些图谱来指导学生网络也可以获得更佳的性能。

但是，目前流行的蒸馏学习方法将教师网络每一层的特征视为互相独立的特征空间，却忽略了层与层之间的相关性。因此，上述的基于层输出特征的学习方法，仅仅学习到了教师网络的一部分知识。如果要学习教师网络所有层的知识，需要学生网络对所有层的知识进行同时学习。然而，直接强行使学生网络拟合教师网络所有层的特征，往往没法得到性能更佳的学生网络，甚至无法使其收敛，说明直接对教师网络的多层空间进行拟合是一个不利于学习的强约束。

发明内容

为了解决现有技术中的上述问题，即学生网络无法学习教师网络全局知识的问题，本发明提供了一种基于特征空间变化的蒸馏学习方法，包括：

步骤S10，根据蒸馏学习的教师网络的通道数、计算复杂度、存储空间要求，构建蒸馏学习的学生网络；

步骤S20，选取所述教师网络预设层、所述学生网络的相应层作为样本蔟，分别计算每个样本蔟的样本在所述教师网络、学生网络中每一层的特征空间表示；

步骤S30，基于所述每个样本蔟的样本在教师网络、学生网络中每一层的特征空间表示，分别计算所述教师网络、学生网络的跨层特征空间变化矩阵；

步骤S40，基于所述教师网络、学生网络的跨层特征空间变化矩阵，计算目标损失函数并通过所述目标损失函数将所述教师网络的跨层特征空间变化作为知识迁移到所述学生网络中，获得学习后的学生网络。

在一些优选的实施例中，步骤S10中“根据蒸馏学习的教师网络的通道数、计算复杂度、存储空间要求，构建蒸馏学习的学生网络”，其方法为：

步骤S11，提取教师网络的通道数、计算复杂度、存储空间要求：