[发明专利]一种基于图结构分布式并行模式构建图的方法

说明书

本发明公开了一种基于图结构分布式并行模式构建图的方法，涉及数据结构中的图结构技术领域、分布式并行运算技术领域和图的合并技术领域，解决现有串行组装的图结构，计算的时长会随着对比次数的增加而增加；保存列表的内存空间会随节点的增加而增加，当存储节点列表所需的内存达到计算机内存上限时就会限制组装图的节点上限。本发明包括步骤为：准备所需组装图的节点；通过节点切分或/和组成图的切分，实现并行计算组成最终的图。本发明用于分布式并行模式构建图结构的图。

技术领域

一种基于图结构分布式并行模式构建图的方法，用于分布式并行模式构建图结构的图，涉及数据结构中的图结构技术领域、分布式并行运算技术领域和图的合并技术领域。

背景技术

现有的图(即基于图结构的图)组装过程一般为串行组装，组装大致过程如下：

1.拉取所有待组装的节点，并将节点以列表的方式保留；

2.从列表中的第一个节点开始，将节点和其他所有节点做两两匹配，若能关联在一起则记录为图；

3.将列表中所有的节点都按照步骤2的方式进行对比关联后，图结构组装完成。

在上述方案中图的组建过程将会随着节点数量的增多而对比判断次数增加，对比判断次数和节点数量的关系如下：

对比次数＝节点数*(节点数-1)；

使用上述方法计算的缺点如下：

①决定对比次数的是节点的数量，计算的时长会随着对比次数的增加而增加；即时间过长可能造成第一次的计算没有完成，就需要开始第二次的计算。比如：实际应用用构建图的时间一般是一天一次，有可能所需构建图的节点相当庞大计算所需时间可能超过24小时，因此第一天的图还没有算出来就需要计算第二天的图，造成图永远无法完成构建。

②由于需要将节点以列表的形式保存并以备使用，需要保存列表的内存空间则会随节点的增加而增加，当存储节点列表所需的内存达到计算机内存上限时就会限制组装图的节点上限。如：如果一个节点保存需要1KB的数据量，若有一亿的节点量，则所需的存储空间仅是节点数据本身就需要约95GB，在现有IT资源中单机有95GB的服务器并不多见，若在JVM中执行程序则所需实际的内存空间大约为240G(计算中间结果也需要存储因此还需要更多的存储空间)，在系统架构上来说单机内存过高则是不合理的，从计算机硬件的配置逻辑来说，单体资源过大会造成高速设备淹没低速设备的问题，造成IT资源运行不协调的问题，简单说就是有兼容性问题。

发明内容

针对上述研究的问题，本发明的目的在于提供一种基于图结构分布式并行模式构建图的方法，解决现有串行组装的图结构，计算的时长会随着对比次数的增加而增加，可能会造成图无法完成构建的问题；保存列表的内存空间会随节点的增加而增加，当存储节点列表所需的内存达到计算机内存上限时就会限制组装图的节点上限，造成内存空间不足，配置存在兼容性问题等。

为了达到上述目的，本发明采用如下技术方案：

一种基于图结构分布式并行模式构建图的方法，其特征在于，如下步骤：

步骤1.准备所需组装图的节点；

步骤2.将步骤1得到的节点分成多份，并行的将每份中的节点进行两两间对比匹配，得到至少一个组成图或/和未组成图的节点，判断得到的组成图数、未组成图的节点数或计算轮数是否达到给定阈值，若未达到，转到步骤3，若达到，转到步骤5；

步骤3.若未达到阈值，且若步骤2得到多个组成图，将步骤2得到的多个组成图分成多份，并行将每份中的图进行两两间对比匹配，或/和

若步骤2得到多个未组成图的节点，并行将步骤2得到的多个未组成图的节点分成多份，并行的将每份中的节点进行两两间对比匹配，得到至少一个融合组成图或/和组成图或/和未组成图的节点；