[发明专利]基于参数服务器架构的图数据与参数数据的混合划分方法

说明书

本发明公开一种基于参数服务器架构的图数据与参数数据的混合划分方法，首先将图顶点按广度优先遍历的方式重新处理编号，将顶点编号划分为大小相等的P个区间，取区间的中间值对应的顶点作为多个初始分区，然后基于图拓扑数据与顶点特征维度计算当前分区邻域顶点的代价分数，根据代价分数对邻域顶点进行排序，选取代价分数最小的多个邻域顶点加入当前分区，同时更新当前分区顶点特征权重向量。通过对比多个分区的顶点特征权重向量，将图神经网络模型参数按行划分至在计算时需要使用该参数行顶点的数量最多的分区中。适用于支持图神经网络算法的参数服务器系统，能够减少系统运行时的网络通信开销，加速系统计算效率。

技术领域

本发明涉及图神经网络、参数服务器技术领域，尤其涉及一种基于参数服务器架构的图数据与参数数据的混合划分方法。

背景技术

近年来，人工智能领域不断发展，相关技术已经广泛地应用在生物信息、自然语言处理、计算机视觉、推荐系统等领域。人工智能技术在提升生产效率，改善人民生活方面做出了巨大贡献。

图数据简称图，是计算机技术中描述实体和关系有效的数据结构。其结构定义能天然地表示现实世界中的实体关系，如社交网络、生物网络、知识图谱等，对图的信息挖掘有很高的现实意义。由于直接处理图数据非常困难，所以常常将图上的顶点、边或子图嵌入成向量进行表征，下游算法可以使用这些表征向量来完成特定任务。DeepWalk、LINE、SDNE等方法在网络表示学习领域取得了很大的成功。然而，这些方法在计算上较为复杂并且在大规模上的图上效果并不理想。深度神经网络是一类具有强大表达能力的数学模型。它通过不断地迭代训练，反复调整神经网络的权重，进而使其能够在权重中记忆并表达数据特点。图作为一种极具现实意义的数据结构，与目前最流行、表达能力强大的深度神经网络技术相融合是必然趋势。

图神经网络作为当前最先进的人工智能技术，近两年来，正呈现井喷式的发展趋势，大量文章发表在人工智能方向顶级会议AAAI、ICML、ICLR、NIPS上。图神经网络是一种高效的图嵌入模型，它的提出显著地提升了图上嵌入的准确性。图神经网络大部分遵循循环递归邻域聚合的模式，其中每个顶点聚合其相邻顶点的特征向量以计算其新的特征向量。在k轮聚合迭代后，通过其转换的特征向量来表示该顶点，该向量捕获顶点的k-hop网络邻顶点的结构信息。然后，可以通过池化操作来获得整个图结构的表征，例如对图中所有节点的表征向量求和。大量基于不同的领域聚集的图神经网络变体和图层级的池化模型已经被学者提出。

图神经网络的计算方式以及数据模型与传统大图模型以及传统参数神经网络有着很大的区别。除了需要管理图数据外，还需要同时对大规模神经网络模型进行管理，这使得图神经网络的数据存储与处理的难度更大。随着互联网用户数量激增以及应用软件日益复杂，数据规模呈爆炸性增长。为了能够更好地捕获数据特征，深度学习模型每层宽度和神经网络深度也在快速上升。对于传统图算法和神经网络算法，单机已经远远不能够处理如此大规模的数据，分布式解决方案应运而生。分布式计算框架是通过统筹利用多台机器的算力，并通过网络进行机器间消息通信，进而共同完成一个计算任务的策略。

在分布式图计算中，图数据分区是影响系统性能的重要因素。图数据分区的目标在于将初始图数据划分为多个部分，分别储存在分布式计算节点中，并使得在分布式计算过程中，在保证负载均衡的前提下，各个计算节点间的通信开销尽可能小。平衡的图划分是一个多项式复杂程度的非确定性问题，因此大部分划分策略使用了启发式的方法：通过hash进行顶点切分、边切分或混合切分；基于得分的方法，比如Kernighan-Lin算法；多级化的方法通过将图粗化来降低分区计算的复杂度，对粗化图划分后再将其还原。