[发明专利]基于顶点切割的动态幂律图实时重划分方法

说明书

本发明公开了基于顶点切割的动态幂律图实时重划分方法。本发明能够在Powergraph和GrapH等分布式图处理系统中对动态幂律图进行基于顶点切割的实时重划分，从而提升分布式图处理系统计算动态幂律图的效率。本发明实现的步骤包括：对动态幂律图进行初始划分；实时分配每条新边；构造边集合；转移边集合；完成了动态幂律图的重划分。本发明能够处理真实世界中的动态幂律图中持续产生的新边，通过构造并转移边集合实时降低了各计算机之间的通信量，且重划分中的转移代价较低，重划分效率较高。

技术领域

本发明属于计算机科学技术领域，更进一步涉及图数据处理技术领域中的一种基于顶点切割的动态幂律图实时重划分方法。该方法能够在Powergraph和GrapH等分布式图处理系统中对动态幂律图进行基于顶点切割的实时重划分，从而提升分布式图处理系统计算动态幂律图的效率。

背景技术

在图数据处理技术领域中，很多分布式图处理系统通过图划分技术将大规模的图划分成多个规模几乎相同的子图，将它们分配到不同的计算机中并行计算。最初Google的Pregel和CMU的GraphLab使用基于边切割的图划分技术，使各子图之间被切割的边的数量达到最少。实际上，真实世界中的图大多数是幂律图，幂律图中存在大量邻居较少的顶点和少量邻居较多的超级顶点。这些超级顶点导致了计算机的负载不均衡，从而降低了图计算的效率。为了高效地处理幂律图，CMU的Powergraph采用基于顶点切割的图划分技术，将顶点复制到多个计算机中分摊计算量，从而使各个计算机负载均衡。然而Powergraph等基于顶点切割的分布式图处理系统都只提供了静态划分算法，忽视了真实世界中幂律图的实时动态性，例如：社交网络中实时增加的好友关系，学术网络中增加的作者合作关系。幂律图中动态增加的新边增大了计算机之间的通信量，从而降低了图计算的性能，这就涉及到了动态幂律图的重划分问题。

华中科技大学在其申请的专利文献“一种基于顶点切割与社区聚集的大规模图划分方法”(申请号201310686371.5，公开号CN 103699606 A)中公开了一种基于顶点切割与社区聚集的幂律图划分方法。该方法首先将影响任务完成时间较大的一些顶点进行切割，然后利用基于标签传播的社区聚集算法迭代地将切割之后的图进行标签传播，将图的各个顶点的标签确定，得到各个顶点所在社区，最后用传统的多层k-way图划分算法进行划分。但是，该方法仍然存在的不足之处是，它忽略了真实世界的幂律图的动态性，无法处理幂律图中动态产生的新边，导致分区之间的通信量随着幂律图的动态变化而快速增加，从而降低了图计算的效率。

Dinesh Kumar等人在其发表的论文“GraphSteal:Dynamic Re-partitioning forEfficient Graph Processing in Heterogeneous Clusters”(2017IEEE 10thInternational Conference on Cloud Computing(CLOUD).IEEE,2017:439-446)中公开了一种用于异构集群的幂律图动态重划分方法。该方法首先在分布式图处理系统中将执行时间低于平均值的计算节点归类为快节点，将执行时间高于平均值的计算节点归类为慢节点。然后使用重划分器将慢节点中的边转移到快节点中，来平衡各个计算节点之间的计算负载。但是，该方法仍然存在的不足之处是，它在重划分时没有考虑各计算节点之间的通信量，导致重划分的转移代价较高，各计算节点之间的通信量较高，从而降低了图计算的效率。

发明内容

本发明的目的在于针对上述已有技术的不足，提出了一种基于顶点切割的动态幂律图实时重划分方法。该方法可以解决包括动态学术网络关系图和动态社交网络关系图在内的大规模动态幂律图划分问题。

实现本发明目的的思路是，由于真实世界中的动态幂律图持续生成新边，导致分布式图处理系统中越来越多的顶点被切割，从而增加了计算机之间的通信量，因此需要实时重划分技术来减少动态幂律图中被切割的顶点。动态幂律图中的新边只对它相邻的顶点和边产生影响，因此在新边所在的局部进行实时重划分，通过转移边集合来减少被切割的顶点，从而降低计算机间的通信量，提升图计算的效率。