[发明专利]一种基于关系图的DNN鲁棒模型加固方法

说明书

本发明公开了一种基于关系图的DNN鲁棒模型加固方法，构建目标模型数据集，目标模型训练，构建模型关系图，约束关键路径，最后重构目标模型。本发明通过在DNN模型的关系图上来查找和构建神经网络中的关键路径，从而对该路径上的传播过程和节点行为计算新的损失函数，并将提取关键路径后的关系图结合新的损失函数重构回模型，提高模型的鲁棒性。

技术领域

本发明涉及分布式机器学习、人工智能安全领域，具体涉及一种基于关系图的DNN鲁棒模型加固方法。

背景技术

现如今，深度学习正以惊人的速度在现实世界中广泛应用，如计算机视觉、语音识别和自然语言处理等。但对抗性样本，一种包含人类察觉不到但对深度神经网络(DNN)模型有误导性的扰动的图像的出现，对深度学习系统，如人脸识别系统、自动校验系统和自动驾驶系统等构成潜在的安全威胁。

一方面，在过去的几年里，人们提出了大量的防御方法来提高模型对对抗样本的鲁棒性，避免在现实应用中潜在的危险。这些方法大致可以分为对抗性训练、输入转换、模型架构转换和对抗性样本检测。然而，上述这些方法主要是针对输入图像的像素空间，很少有通过研究模型中间层的行为来分析对抗性扰动的影响。而在最近的研究中，Li等人提出了一种基于梯度的影响传播策略来获得临界攻击神经元，从而在计算图上进一步构建神经网络的临界攻击路径，并通过对该路径上的传播过程和节点行为进行约束减弱噪声的传播，提高模型的鲁棒性的方法。例如，在社交网络中，虚假信息通过在节点之间的迅速传播可能带来巨大的社会威胁。而具有较高信息能力的节点比其他节点更关键，更容易传递虚假信息，并被包含在关键路径中。为了有效抑制虚假信息的传播，一般采取免疫策略即在图内发现并阻断关键路径从而减少虚假信息的传播，提高社交网络的安全性。但是现有的计算图缺乏普遍性，与生物学和神经科学脱节，对于只关注信息传递的关键路径来说包含了过多的冗余信息。

另一方面，人们普遍认为神经网络的性能取决于其体系结构，对神经网络精度与其底层图结构之间的关系缺乏系统的了解。而最近You等人提出了一种将神经网络表示为图的新方法，称之为关系图。该图主要关注信息的交换，而不仅仅是定向数据流。它同时摆脱了计算图的许多约束(如有向、无环、二部、单进单出)，并通过聚类系数和关系图的平均路径长度来表征神经网络。但是这种将神经网络的性能近似于其关系图的聚类系数和平均路径长度的平滑函数的方法只能构建原始的鲁棒模型，而一旦遭受对抗样本的攻击就很难从细粒度的角度去进行解释和防御。

针对上述两个问题，本发明提出了一种将关键路径和关系图进行结合，在DNN模型的关系图上来查找和构建神经网络中的关键路径，并将提取关键路径后的关系图重构回模型，从而提高模型的鲁棒性的方法。

发明内容

为了进一步提高神经网络中关键路径的有效性，以及为神经网络的关系图表征方式提供一种细粒度的解释，本发明提出了一种基于关系图的DNN鲁棒模型加固方法，通过在DNN模型的关系图上来查找和构建神经网络中的关键路径，从而对该路径上的传播过程和节点行为计算新的损失函数，并将提取关键路径后的关系图结合新的损失函数重构回模型，提高模型的鲁棒性。

为实现上述发明目的，本发明提供以下技术方案：

一种基于关系图的DNN鲁棒模型加固方法，包括以下步骤：

(1)构建目标模型数据集：目标模型数据集包括n条样本数据，分为a类样本数据，从每类样本数据中抽取d％的样本数据作为目标模型的训练集D_train，将每类剩余的样本数据作为目标模型的测试集D_test，n、a、d为自然数；

(2)目标模型训练：对样本数据构建目标模型结构，设置统一的超参数对训练集D_train进行训练：训练epoch数、批次大小，采用随机梯度下降、学习率设置为初始0.1的cos余弦学习率、损失函数Loss_c则在交叉熵函数基础上添加了正则化参数λ：