[发明专利]一种基于关系图的DNN鲁棒模型加固方法

权利要求书

1.一种基于关系图的DNN鲁棒模型加固方法，其特征在于，包括以下步骤：

(1)构建目标模型数据集：目标模型数据集包括n条样本数据，分为a类样本数据，从每类样本数据中抽取d％的样本数据作为目标模型的训练集D_train，将每类剩余的样本数据作为目标模型的测试集D_test，n、a、d为自然数；

(2)目标模型训练：对样本数据构建目标模型结构，设置统一的超参数对训练集D_train进行训练：训练epoch数、批次大小，采用随机梯度下降、学习率设置为初始0.1的cos余弦学习率、损失函数Loss_c则在交叉熵函数基础上添加了正则化参数λ：

其中，下标i代表第i个样本数据，i＝1，2，…，n，n为样本数据的个数，x_i表示输入的样本，p(·)为样本的真实标签，q(·)为模型的预测概率，w为正则化系数；在训练结束后保存模型；

(3)构建模型关系图：首先定义神经网络，然后用信息交换定义一般关系图，进一步将一般关系图的信息交换扩展到卷积神经网络，最后绘制关系图；

(4)约束关键路径：首先计算两层神经元之间的影响，然后选取关键神经元，最后限制损失梯度并得到损失函数；

(5)重构目标模型

先将步骤(4)中得到的关键神经元映射到步骤(3)中绘制的关系图上，去掉关系图中非关键神经元的节点和其连边得到新的关系图结构，接着将关系图重构回神经网络结构，并采用步骤(4)中得到的损失函数对训练集D_train进行训练得到一个新的鲁棒目标模型。

2.根据权利要求1所述的一种基于关系图的DNN鲁棒模型加固方法，其特征在于，所述步骤(3)中定义神经网络具体为：定义神经网络图G＝(V，E)，其中V＝{v₁，...，v_n}为节点集合，为边集合，下标i、j即为随机取的两个节点的下标，且每个节点v有一个节点的特征向量x_v。

3.根据权利要求2所述的一种基于关系图的DNN鲁棒模型加固方法，其特征在于，所述步骤(3)中用信息交换定义一般关系图具体为所述神经网络图G与神经元之间的信息交换有关，即图中的神经元之间有数据的传入和输出时，将其定义为关系图；每条信息通过信息函数f(·)在每条边进行转换，然后通过聚合函数AGG(·)在每个节点进行聚合；进行M轮信息交换，对于节点v的第m轮信息交换可以描述为：

其中，上标m代表第m轮信息交换，m＝1，2，…，M，下标u、v为图G当中的节点，是节点u的输入节点特征，N(v)＝{u|v∨(u，v)∈E}是节点v的所有邻节点，是节点v的输出节点特征。

4.根据权利要求3所述的一种基于关系图的DNN鲁棒模型加固方法，其特征在于，所述步骤(3)中将一般关系图的信息交换扩展到卷积神经网络具体为将所述关系图适用于卷积神经网络，其中输入是一个图像张量X^(m)；将节点特征的定义从向量推广到张量它包含输入图像的一些通道，然后用卷积算子推广信息交换定义为

其中*为卷积算子，为卷积滤波器，i，j表示随机取的两个节点的下标。

5.根据权利要求4所述的一种基于关系图的DNN鲁棒模型加固方法，其特征在于，所述步骤(3)中绘制关系图具体为将所述步骤(2)中训练并保存好的模型载入，用ψ表示；每次选取模型ψ的连续两层用公式(3)计算两层中每个张量的信息交换值X，然后把张量作为顶点神经元，信息交换值作为边权重进行绘图，最后将所有绘制的图连接在一起作为一个神经网络的图表示。