[发明专利]一种用于知识蒸馏的边界样本数据增强方法及装置

说明书

本发明公开了一种用于知识蒸馏的边界样本数据增强方法、装置及计算机存储介质，该方法包括：在知识蒸馏进行前，利用教师模型对样本的输出，对每一个原始数据集中的样本沿教师模型的决策边界进行逐步迭代的修改，扩充出多个适合用于知识蒸馏的边界样本。在每轮迭代中，使用原始样本或上轮修改出的每个样本作为基础样本，利用教师模型的输出求出该样本附近决策边界的近似切面，在该切面上沿多个方向修改样本；随后对该修改后的样本进行边界化修改使之位于边界附近；最后，挑选与其他基础样本距离最远的数个样本作为该轮修改的结果以及下轮迭代修改的基础样本。本发明能够满足当前图像分类器知识蒸馏中对数据增强的需求。

技术领域

本申请涉及深度网络中知识蒸馏训练的数据增强，具体地涉及一种用于知识蒸馏的边界样本数据增强方法及装置。

背景技术

随着对深度神经网络(DNN)的研究的深入，深度网络被应用于越来越复杂的问题上，网络的深度与广度也变得越来越大。然而，庞大的参数规模不仅会导致训练上的困难，也会大大增加推理阶段花费的时间，使得网络模型无法部署在个人电脑等计算力较弱的设备上。因此，很多最近的工作都致力于研究如何将庞大的深度网络压缩为更轻量的网络，而方法之一就是知识蒸馏(KD)。

知识蒸馏是一种知识迁移的实现方式，它通过使用已经训练好的复杂模型的输出来训练简单模型，以此达到模型压缩和提升简单模型准确率的效果。在这一过程中，复杂模型被称为教师模型而简单模型被称为学生模型。由于知识蒸馏实际上是学生模型学习教师模型决策边界的过程，越靠近决策边界的样本学习的效率越高。虽然知识蒸馏最大的信息来源是教师模型，但仍然依赖适合的训练数据以完成知识从教师到学生的迁移。在实际应用中，由于进行知识蒸馏的人员并不一定是教师模型的训练方，经常会出现虽然可以获取到教师模型，却无法收集到足量用于知识蒸馏的数据的情况。此时就需要进行数据增强(Data Augmentation)以扩充数据集。

数据增强又称数据扩增，指通过实际采集数据以外的方式，使用现有的数据生成更多有助于机器学习模型训练的数据。通俗的讲，数据增强是使用已有的训练数据进行加工处理生成更多的训练数据的过程。数据增强能够帮助被训练模型更好的总结同种类样本上共有的特征。当数据足够多时，被训练模型才不易出现过拟合，才会拥有较好的泛化能力，在知识蒸馏中也是如此。此外，数据增强分为事先执行所有转换的线下增强，以及送入机器学习之前在批量数据上执行的线上增强。

然而，通用的数据增强方法如Cutout方法和mixup方法，由于没有利用到教师模型，扩充出的样本不能很好的满足知识蒸馏的需要。因此，如何在知识蒸馏的特定背景下进行有效的数据增强是知识蒸馏领域亟待解决的问题之一。

发明内容

本发明针对上述问题，提供了一种用于知识蒸馏的边界样本数据增强方法、装置及计算机存储介质。

本发明的第一方面，提供了一种用于知识蒸馏的数据增强方法，包括：

S1、根据原始样本在原始类别外的分类概率，得到进行边界化修改的目标类别；

S2、将样本空间中与原始类别分类概率相同的点组成决策边界面，对原始样本进行对抗攻击生成原始类别与目标类别之间的第一边界样本；

S3、将第一边界样本作为基础样本进行第一轮迭代，迭代过程S4-S5；

S4、根据基础样本所处的切面确定决策边界面上的N个方向，沿着N个方向进行基础样本修改，得到N个备选样本；

S5、对N个备选样本进行对抗攻击，生成N个第二边界样本；

S6、从第2轮迭代开始，将N个第二边界样本作为基础样本集合，对基础样本集合中的每个基础样本执行S4-S5，每个基础样本生成的N个第二边界样本中，只保留与基础样本集合中其他基础样本平均位置相距最远的1个第二边界样本，放入下一轮迭代的基础样本集合中；