[发明专利]基于ART树分布式系统图存储计算系统及其方法

摘要

本发明公开了一种基于ART树分布式系统图存储计算系统及其方法，其涉及分布式图计算技术领域，所述系统包括数据源单元、数据分区单元、数据存储单元、以及图计算单元；所述数据源单元设有数据采集模块，所述数据采集模块用于采集图数据；所述数据存储单元包括有数据库、文件系统、分布式文件系统和HBase；所述数据分区单元包括数据加载模块和自适应分区算法模块。所述系统包括数据源单元、数据分区单元、数据存储单元、以及图计算单元；所述数据源单元设有数据采集模块，所述数据采集模块用于采集图数据；所述数据存储单元包括有数据库、文件系统、分布式文件系统和HBase；所述数据分区单元包括数据加载模块和自适应分区算法模块。

主权项

1.一种基于ART树分布式系统图存储计算方法，其特征在于，所述方法基于一存储计算系统实现，所述存储计算系统包括数据源单元、数据分区单元、数据存储单元、以及图计算单元；所述数据源单元设有数据采集模块，所述数据采集模块用于采集图数据；所述数据存储单元包括有数据库、文件系统、分布式文件系统和HBase；所述数据分区单元包括数据加载模块和自适应分区算法模块；所述方法包括如下步骤：1)利用所述数据采集模块采集网络应用产生的图数据，并将采集得到的所述图数据持久化到数据存储单元中；2)进行数据分区，包括数据加载和采用自适应分区算法进行数据划分，所述数据加载过程中根据分配的计算节点的数目，然后在每个节点都启动数据加载，并行地将数据读入内存中；在数据加载的同时会调用自适应的分区算法对数据进行洗牌(shuffle)，将数据按照对应的分区算法重新映射到分配的物理服务器上；在进行数据加载同时进行数据分区，数据加载完成，数据划分也完成；其中，所述自适应分区算法包含序号连续的SmartHash函数、全局的分区表和物理服务器容量值，所述全局分区表记录所有的分区情况，根据全局分区表记录情况与物理服务器容量值的比较，调用SmartHash函数进行物理服务器号分配，然后按照分配的物理服务器号，将边数据发送到对应的物理服务器；3)经过数据分区操作之后，每个物理服务器都会分到原始图数据集的一个子图，子图在每个分区上的存储采用的就是基于ART‑Index的邻接表结构；根据MapReduce分布式图计算框架、BSP分布式图计算框架和GAS分布式图计算框架进行并行的图计算，每台物理服务器在进行计算时都是用在本地缓存的子图数据，每轮迭代之后会在物理服务器间进行一次消息同步操作，消息同步操作完之后进行下一次迭代计算，直到计算结果收敛，或者计算次数达到用户设置值为止；4)迭代计算结束后会将最终结果写回到数据存储系统中进行持久化。