[发明专利]基于保留动力学过程使用稀疏网络鲁棒地分类图片的方法

说明书

本发明提供了基于保留动力学过程使用稀疏网络鲁棒地分类图片的方法，结合神经正切核理论和对抗训练的动力学过程，使用对抗攻击得到稀疏网络和密集网络的各自的对抗样本，得到适宜进行对抗训练的稀疏网络，用稀疏网络在图片集上进行对抗训练，得到分类器，实现对对抗攻击的有效抵御。本方法得到的稀疏网络的性能与原始的密集网络性能相当，对抗鲁棒性优于最近提出的Inverse Weight Inheritance2020，且本发明在初始化时便找到了目标稀疏网络，不需要像现有方法那样迭代地进行对抗训练‑剪枝过程，大大减少了训练时间，因此本发明优于现有的同任务方法，使得对抗鲁棒神经网络在资源有限设备上的部署成为可能。

技术领域

本发明属于机器学习中图片分类和对抗训练领域，具体涉及基于保留动力学过程使用稀疏网络鲁棒地分类图片的方法。

背景技术

深度神经网络由于其近年来在性能上的巨大提升而被广泛地用作最先进的机器学习分类系统。同时，正如Szegedy所指出的，最先进的深度神经网络通常容易受到对抗样本的攻击，这些样本在人眼里是可以区分的，但却可以欺骗分类器做出任意的预测。这种不理想的特性可能会使深度神经网络无法应用于安全敏感的应用中。各种对抗性防御方法随后被提出，来应对对抗样本的攻击。然而，大多数防御方法很快就被新的对抗攻击方法打破。Madry提出的对抗训练(Aleksander Madry,Aleksandar Makelov,Ludwig Schmidt,Dimitris Tsipras,and Adrian Vladu.Towards deep learn-ing models resistant toadversarial attacks.In International Conference on Learning Representations,2018.)是为数不多的仍能抵抗对抗性攻击的方法之一。

另一方面，深度神经网络经常被发现是高度过度参数化的。网络剪枝已经被证明是一种出色的方法，可以大大减少模型的大小。典型的剪枝算法遵循训练-剪枝-微调的三步走策略，不重要的权重按照一定的评分策略进行剪枝，例如根据权重的大小来决定参数的重要性程度。然而，用继承的权重对一个修剪过的模型进行微调，只能得到与用随机初始化的权重训练该模型相当或更差的性能，这表明继承的重要权重对于微调不一定有用。

Jaehoon Lee提出，模型输出的动态变化可以完全由神经切线核(NTK)和初始网络输出来描述。因此，两个神经网络之间的动力学过程差异可以通过其神经正切核和初始预测的差异来量化。基于这一结果，Tianlin Liu提出了Neural Tangent Transfer(NTT)(参考文献，Chaoqi Wang,Guodong Zhang,and Roger Grosse.Picking winning ticketsbefore training by preserving gradient flow.In International Conference onLearning Representations,2019)来寻找可训练的稀疏神经网络，通过控制密集和稀疏网络之间的神经正切核距离和预测距离来保留模型输出的动态性。

另一方面，Frankle和Carbir在2020年提出了彩票假说(Lottery TicketHypothesis)，它指出对于一个密集网路，总存在一个子网络结构，如果单独训练，可以达到与原始网络相当的性能。这样的子网络被称为中奖彩票(winnning ticket)。中奖彩票的存在使得可以从头开始训练一个具有良好性能的稀疏网络。特别是，NTT作为一种预见性的剪枝方法，在正常训练背景下提供了对彩票假说的验证。