[发明专利]一种有向图对应的图神经网络的训练方法及装置

说明书

本说明书实施例提供一种有向图对应的图神经网络的训练方法及装置，方法包括：控制设备获得用户针对图神经网络在正向推理计算中用于进行节点表征聚合的第一算子设置的聚合配置信息后，提供给工作设备，聚合配置信息包括节点表征聚合涉及的参与对象和第一边方向；工作设备中的任一第一设备针对有向图中其持有的局部图中的当前节点，基于聚合配置信息利用第一算子对当前节点进行表征聚合；基于用于进行反向梯度计算的第二算子及根据聚合配置信息确定的梯度来源信息，确定图神经网络的当前梯度，将其发送至控制设备；控制设备基于各工作设备发送的当前梯度，更新图神经网络的模型参数。

技术领域

本说明书涉及图神经网络技术领域，尤其涉及一种有向图对应的图神经网络的训练方法及装置。

背景技术

图神经网络是广为使用的机器学习模型。相对于传统的神经网络，图神经网络不仅能够捕捉节点的特征，而且能够刻画节点之间的关联关系特征，因此，在多项机器学习任务中取得了优异的效果。图神经网络对应的关系网络图分为有向图和无向图，比如在社交网络中，两个用户是好友关系，可以用无向图表达；在用户-商品的网络中，用户和商品的购买行为可以用有向图表达。

图神经网络提供方，可以利用图学习系统（又称图神经网络系统）实现对图神经网络的训练。在目前的图学习系统中，很难基于同一份图数据灵活地结合边的方向进行图神经网络（即模型）的训练，若想实现基于同一份图数据灵活地结合边的方向进行图神经网络的训练，则需要用户对该图数据做额外处理，比如DGL系统（一种图学习系统），其认为所有图均为有向图，在DGL系统中，要将有向图作为无向图，训练其对应的图神经网络时，需要修改该有向图，即将有向图的所有边添加为双向边。之后，才能将有向图作为无向图，训练其对应的图神经网络。这样，增加了用户的数据处理负担也增加了图学习系统的数据存储代价。

发明内容

本说明书一个或多个实施例提供了一种有向图对应的图神经网络的训练方法及装置，以实现无需修改有向图，即可结合不同的边方向实现对其相应图神经网络的训练。

根据第一方面，提供一种有向图对应的图神经网络的训练方法，包括：

控制设备获得用户针对第一算子设置的聚合配置信息，将其提供给若干工作设备；所述第一算子是图神经网络在正向推理计算中用于进行节点表征聚合的算子，所述聚合配置信息包括，所述节点表征聚合涉及的参与对象，和依赖的第一边方向；

所述若干工作设备中任意的第一设备，针对所述有向图中本方持有的局部图中的当前节点，基于所述聚合配置信息，利用所述第一算子对该当前节点进行表征聚合；并基于与所述第一算子对应的用于进行反向梯度计算的第二算子，以及根据所述聚合配置信息确定的梯度来源信息，确定所述图神经网络的当前梯度，将其发送至控制设备，其中所述梯度来源信息包括，所述反向梯度计算所依赖的第二边方向和梯度传递来源对象的指示；

控制设备基于各工作设备发送的当前梯度，更新所述图神经网络的模型参数。

在一种可实施方式中，所述节点表征聚合依赖的第一边方向选自以下之一：所述有向图的入边方向、出边方向，以及所有边方向。

在一种可实施方式中，单个参与对象选自以下之一：被聚合的节点自身、其对应的边，以及邻居节点；

所述节点表征聚合涉及的参与对象包括如下组合之一：节点对应的边；节点对应的邻居节点；节点对应的边和邻居节点的组合；节点自身及其对应的边的组合；节点自身及其对应的邻居节点的组合；节点自身及其对应的边和邻居节点的组合。

在一种可实施方式中，还包括：

所述第一设备基于对所述当前节点进行表征聚合的聚合结果，确定该当前节点对应的预测损失；所述当前梯度还基于所述预测损失而确定。

在一种可实施方式中，所述第一算子至少适用于所述图神经网络的第l+1聚合网络层的聚合；