[发明专利]一种基于潜层特征相似度的对抗训练方法

说明书

一种基于潜层特征相似度的对抗训练方法，涉及神经网络训练。针对正常样本和对抗样本潜层特征关系的差异性，提出一种基于约束正常样本和对抗样本潜层特征相似度的对抗训练方法。包括以下步骤：步骤一：挑选一批样本xsubgt;clean/subgt;，通过迭代攻击算法T步，得到对抗样本xsubgt;adv/subgt;。步骤二：将纯净样本和对抗样本同时输入到神经网络中；用LFRC正则和普通的对抗训练算法来计算梯度，对神经网络的参数θ进行更新。步骤三：整个数据集是否训练完毕，否则跳回步骤一。步骤四：神经网络是否收敛，若不收敛，跳回步骤一。否则输出神经网络fsubgt;θ/subgt;。训练结束后，便得到一个具有对抗鲁棒性的神经网络。

技术领域

本发明涉及神经网络训练，尤其是涉及一种基于潜层特征相似度的对抗训练方法。

背景技术

神经网络已经很多的任务上取得卓越的效果，最近研究表明，神经网络模型非常容易受到对抗样本的攻击，攻击者通过使用人眼无法感知的噪声篡改输入图片，使得神经网络模型输出错误的计算结果。研究表明，这些攻击是普遍存在的，使得基于神经网络的应用在实现部署中受到严重安全威胁。

面对日益增加的攻击方式，大量的防御方法被发明出来，比如通过知识蒸馏的防御方法、流行投影方法、预处理方法以及现在较为成功的对抗训练方法(参考文献Madry,A.,Makelov,A.,Schmidt,L.,Tsipras,D.,and Vladu,A.Towards deep learning modelsresistant to adversarial attacks.ICLR,2018)。然而最近有文献证明，现在大多数的防御方法只是在特定的情况下才有用，不能泛化到实际的应用场景，比较成功的防御方法只有对抗训练(参考文献Athalye,A.,Carlini,N.,and Wagner,D.Obfuscated gradientsgive a false sense of security:Circumventing defenses to adversarialexamples.ICML,2018)。对抗训练是将攻击方法产生的对抗样本与原始数据混合一起对网络模型进行训练，实际上属于一种数据增广的方法。

发明内容

本发明的目的在于为了解决对抗训练的上述缺陷，缓和对抗训练场景下，模型对于纯净样本和对抗样本学到的潜层特征关系不一致性的问题，同时提升模型的鲁棒性，提供一种基于潜层特征相似度的对抗训练方法，考虑正常样本和对抗样本的潜层特征相似度，通过分别计算正常样本和对抗样本的潜层特征相似度矩阵，然后约束这两个潜层相似度矩阵的差异，进行对抗训练，从而使得整个对抗训练捕捉到样本与样本间的关系而不是只关注单个样本，有效的提升神经网络的对抗鲁棒性。

本发明适用于使用卷积神经网络，并含有对抗场景的任何领域。

本发明包括以下步骤：

1)挑选一批纯净样本x_clean，通过迭代攻击算法T步，生成对抗样本x_adv；

2)将纯净样本x_clean和对抗样本x_adv同时输入神经网络f_θ中，分别计算纯净样本x_clean和对抗样本x_adv的潜层特征相似度矩阵，约束这两个潜层相似度矩阵的差异，进行潜层关系一致性对抗训练使对抗样本之间的关系和纯净样本之间的关系保持一致；用LFRC正则和普通的对抗训练计算梯度，对神经网络的参数θ进行更新；

3)整个数据集是否训练完毕，否则跳回步骤1)；

4)神经网络是否收敛，若不收敛，跳回步骤1)，否则输出神经网络f_θ，即得到训练后的具有对抗鲁棒性的神经网络。

在步骤2)中，所述分别计算纯净样本x_clean和对抗样本x_adv的潜层特征相似度矩阵，约束这两个潜层相似度矩阵的差异的具体步骤可为：