[发明专利]一种用于文档分类的基于强化学习的通过添加虚假节点的图对抗样本生成方法

权利要求书

1.一种用于文档分类的基于强化学习的通过添加虚假节点的图对抗样本生成方法，其特征在于，包括：

(1)获取文献引用数据集中的原图数据(A,X)以及图节点分类模型，数据集中的每个节点都是一个文档，边表示文档之间的引用；

使用分类模型对原图数据进行预测，根据预测结果构造训练集和测试集，其中A是图的邻接矩阵，X是图中节点的特征；向原图数据中添加虚假节点，得到初始的对抗样本(A⁰,X⁰)；

(2)构建深度学习攻击模型Q，并初始化参数；

(3)在训练集中选择攻击目标(v^*,y^*)，其中v^*为目标节点，y^*为分类结果；

(4)把当前的对抗样本(A^t,X^t)和攻击目标(v^*,y^*)输入攻击模型，计算得到所有候选节点的评估值，选择评估值最大的节点，并添加一条连接虚假节点和选择的节点的边，得到新的对抗样本(A^t+1,X^t+1)，其中t＝0,1,2,3…,T，T为最大修改次数；

(5)将新的对抗样本(A^t+1,X^t+1)输入图节点分类模型，计算攻击目标节点的分类概率，计算图节点分类模型环境反馈的奖励信号r^t，累积奖励若分类结果为y^*，得到对抗样本(A^t+1,X^t+1)，跳转至步骤(6)；否则跳转至步骤(4)；

(6)收集记录步骤(3)至步骤(5)的数据，通过最小化模型的损失函数对攻击模型进行训练；

(7)使用步骤(6)中训练好的攻击模型对测试集中的样本生成对抗样本，进行验证和测试，并进行生成对抗样本的应用；利用对抗样本训练得到更加鲁棒的图深度学习模型，利用图深度学习模型对待分类文献引用数据中未知类别的文档进行分类。

2.根据权利要求1所述的用于文档分类的基于强化学习的通过添加虚假节点的图对抗样本生成方法，其特征在于，步骤(1)中，根据预测结果构造训练集和测试集的具体过程为：选择分类模型分类正确的节点作为攻击的目标节点，同时为每个目标节点配置所有不正确的类别标签，构成数据集，再将数据集分成训练集和测试集。

3.根据权利要求1所述的用于文档分类的基于强化学习的通过添加虚假节点的图对抗样本生成方法，其特征在于，步骤(2)中，所述的深度学习攻击模型包含以下子模块：

节点嵌入模块：根据输入的图数据(A^t,X^t)，计算每个节点向量表示；

节点评估模块：根据目标节点的向量表示、候选节点的向量表示和目标类别，计算候选节点的优劣程度，得到评估值；

输出模块：输出所有候选节点的评估值。

4.根据权利要求1所述的用于文档分类的基于强化学习的通过添加虚假节点的图对抗样本生成方法，其特征在于，步骤(5)中，所述的奖励信号r^t的计算方式为：若分类结果为y^*，则r^t＝1；否则r^t＝0。

5.根据权利要求1所述的用于文档分类的基于强化学习的通过添加虚假节点的图对抗样本生成方法，其特征在于，步骤(5)中，所述的奖励信号r^t的计算方式为：

其中，Z^t是指当前所有节点的分类概率，表示Z^t中第v^*行，第y^*列的元素，其物理意义为攻击的目标节点分类为标签y^*的概率。

6.根据权利要求1所述的用于文档分类的基于强化学习的通过添加虚假节点的图对抗样本生成方法，其特征在于，步骤(6)中，对攻击模型进行训练的具体过程为：

模型通过最小化损失函数Loss(θ)进行训练，θ为模型参数，其损失函数Loss(θ)计算如下：

其中，N为样本数量，状态s_t包含了目标节点的向量表示以及目标类别，动作a_t包含了候选节点的向量表示。