[发明专利]一种基于深度强化学习的图结构学习算法

说明书

本发明属于图结构学习技术领域，具体为一种基于深度强化学习的图结构学习算法。本发明把图结构学习问题中增加连边过程建模为马尔可夫决策过程(MDP)，并用双重深度Q网络(DDQN)来实现状态和行为之间的非线性映射；对于每个节点，添加连边的过程由DDQN指导强化学习代理选择具有最大Q值的节点完成，并使用正则惩罚项来约束节点属性的平滑性来更精准地选择节点。通过DDQN确定增加的连边得到更优的图结构和图表达，有效地提升不完整图数据的可用性。本发明能够有效地学习图结构，改善不完整图数据的可用性，提高节点分类的准确率。

技术领域

本发明属于图结构学习技术领域，具体涉及基于深度强化学习的图结构学习算法。

背景技术

图神经网络(GNN)是一种利用深度神经网络对非欧几里德性质的图结构数据进行学习的框架。由于GNN可同时提取图数据中的拓扑信息和节点特征，因此对图数据具有强大的非线性拟合能力，这也使得GNN在不同的下游任务中取得了重大的成功。

然而，GNN应用于现实世界的场景还面临不少问题。图神经网络(GNN)虽然有强大的从图的拓扑结构和节点属性中有效地提取特征的能力，但是对给定图数据的质量要求较高。然而现实生活中的图大多数是有噪声或不完整的，不完整的图通常会导致不满意的图表示，并阻止将GNN进一步应用于现实场景。随着强化学习的发展，越来越多的图挖掘任务都可以和强化学习方法结合来得到有效解决。图结构学习是以学习优化的图结构，提升图的可用性并获得相应的图表示为主题的研究。

发明内容

本发明的目的是提供基于深度强化学习的图结构学习算法，以对不完整的图数据进行图结构优化，解决现有的图数据缺失导致的GNN模型性能下降的问题。通过增加连边来有效地优化不完整的图结构，以获得更优的图表达，最终提升GNN的节点分类的准确率。

图结构学习问题的归纳。在图结构学习的场景下，本发明的目标是在联合地学习图数据和相应的图表示，进一步提高GNN模型在节点分类任务上的准确率。具体而言，给定原始图和一组节点，通过增加连边得到优化后的图数据和相应的图表示，使得测试集节点在GNN分类器的预测准确率尽可能提高。具体地，图结构学习问题归纳如下：

其中，G＝(A,X)表示一个属性图，A∈{0,1}^N×N是表示N个节点的对称邻接矩阵，是一个存放了顶点间关系(边或弧)的二维数组，X∈{0,1}^N×F或表示具有F维的二值节点特征或连续节点特征。V表示全部节点集，V_L表示标签可见的节点集，v_j∈V_L表示标签已知的节点，v_i∈V-V_L表示标签未知的节点。c_i表示节点i的真实类别标签，c_j表示节点j的真实类别标签。G表示经过图结构学习过程后得到的图，表示图结构优化后的邻接矩阵，即经图结构学习优化后，若节点k到节点l有连边，否则θ表示GNN分类器的参数，表示图结构优化后与相关的分类器参数，表示优化后的图上重新训练的GNN节点分类器，和分别表示不同阶段的预测的标签信息，L_train和L_test分别表示GNN对于图G的训练阶段和测试阶段的交叉熵损失函数。

本发明提供的基于深度强化学习的图结构学习算法，参见图1所示；输入为图数据特征和不完整的图结构，通过增加连边来有效地优化不完整的图结构，以获得更优的图表达，通过GNN对改进后的图结构进行消息聚合，获得相应的图表示；最后，通过最小化损失函数来迭代地更新GNN和DDQN(双重深度Q网络)[1]中的参数，最终提升GNN的节点分类的准确率。