[发明专利]基于顶点切割的动态幂律图实时重划分方法

摘要

本发明公开了基于顶点切割的动态幂律图实时重划分方法。本发明能够在Powergraph和GrapH等分布式图处理系统中对动态幂律图进行基于顶点切割的实时重划分，从而提升分布式图处理系统计算动态幂律图的效率。本发明实现的步骤包括：对动态幂律图进行初始划分；实时分配每条新边；构造边集合；转移边集合；完成了动态幂律图的重划分。本发明能够处理真实世界中的动态幂律图中持续产生的新边，通过构造并转移边集合实时降低了各计算机之间的通信量，且重划分中的转移代价较低，重划分效率较高。

主权项

1.一种基于顶点切割的动态幂律图实时重划分方法，其特征在于，实时分配每条新边，构造边集合，将边集合转移到待接收该边集合的计算机，该方法的步骤如下：(1)对动态幂律图进行初始划分：(1a)将一个持续产生新边的动态幂律图上传到由k个计算机组成的分布式图处理系统中，通过该系统内部的图划分技术，将持续产生新边的动态幂律图划分为h个子图，得到顶点允许被复制到多个子图中的初始划分后的动态幂律图，其中h与k的取值相等，且k与h均为不小于2的整数；(1b)将每个子图加载到一个对应的计算机中；(2)实时分配每条新边：(2a)若初始划分后的动态幂律图产生的新边所连接的两个顶点同时被复制到多个子图中，每个子图对应一个计算机，则将该新边分配到其中负载最小的计算机包含的子图中；(2b)若初始划分后的动态幂律图产生的新边所连接的两个顶点不在同一个子图中，则利用启发式公式，得到一个待接收新边的计算机，复制该新边所连接的不在待接收新边的计算机的顶点，并将该新边和被复制的顶点分配到待接收新边的计算机包含的子图中；(2c)若初始划分后的动态幂律图产生的新边所连接的一个顶点被复制到多个子图中，每个子图对应一个计算机，另一个顶点是新顶点，则将该新边和新顶点分配到其中负载最小的计算机包含的子图中；(2d)若初始划分后的动态幂律图产生的新边所连接的两个顶点均为新顶点，则将该新边和两个新顶点分配到所有计算机中负载最小的计算机包含的子图中；(3)构造边集合：(3a)每条新边被分配到对应子图后，将所有该新边连接的顶点所在的子图放入一个集合中；(3b)从集合中选择一个未选过的子图，在该子图对应的计算机中建立一个空的顶点集合；(3c)将新边连接的被复制的顶点和该顶点的相邻顶点加入到顶点集合中，分别统计顶点集合中复制到其他各个子图的顶点数，以每个子图中包含的顶点集合中的顶点数作为元素组成一个数组，将数组中顶点集合所在的计算机包含的子图和负载超过阈值的计算机包含的子图对应的元素设置为0；(3d)从数组中选取一个最大值元素，在顶点集合中移除没有被复制到最大值元素对应的子图中的顶点；(3e)统计顶点集合中的内部点割数，所述内部点割数指的是在子图中有相邻顶点不在顶点集合中的顶点总数；(3f)建立一个空的边集合，将所有连接顶点集合中的顶点的边加入到边集合中，用数组中元素的最大值减去内部点割数，得到了边集合的增益值；(3g)判断边集合的增益值是否大于0，若是，则将该增益值保存到边集合中，否则，清空边集合；(3h)判断是否选完集合中所有的子图，若是，则执行步骤(4)，否则，执行步骤(3b)；(4)转移边集合：(4a)将每条被分配的新边对应的所有边集合，按照增益值降序排列成一个队列；(4b)从队列的头部选取一个边集合；(4c)将所选边集合中的所有边转移到边集合增益值对应的计算机包含的子图中；(4d)在所选边集合所在的计算机包含的子图中删除没有相邻顶点的所有顶点；(4e)判断队列是否为空，若是，则执行步骤(5)，否则，执行步骤(4b)；(5)完成了动态幂律图的重划分。