[发明专利]基于ART树分布式系统图存储计算系统及其方法

权利要求书

1.一种基于ART树分布式系统图存储计算方法，其特征在于，所述方法基于一存储计算系统实现，所述存储计算系统包括数据源单元、数据分区单元、数据存储单元、以及图计算单元；所述数据源单元设有数据采集模块，所述数据采集模块用于采集图数据；所述数据存储单元包括有数据库、文件系统、分布式文件系统和HBase；所述数据分区单元包括数据加载模块和自适应分区算法模块；

所述方法包括如下步骤：

1)利用所述数据采集模块采集网络应用产生的图数据，并将采集得到的所述图数据持久化到数据存储单元中；

2)进行数据分区，包括数据加载和采用自适应分区算法进行数据划分，所述数据加载过程中根据分配的计算节点的数目，然后在每个节点都启动数据加载，并行地将数据读入内存中；在数据加载的同时会调用自适应的分区算法对数据进行洗牌(shuffle)，将数据按照对应的分区算法重新映射到分配的物理服务器上；在进行数据加载同时进行数据分区，数据加载完成，数据划分也完成；

其中，所述自适应分区算法包含序号连续的SmartHash函数、全局的分区表和物理服务器容量值，所述全局分区表记录所有的分区情况，根据全局分区表记录情况与物理服务器容量值的比较，调用SmartHash函数进行物理服务器号分配，然后按照分配的物理服务器号，将边数据发送到对应的物理服务器；

3)经过数据分区操作之后，每个物理服务器都会分到原始图数据集的一个子图，子图在每个分区上的存储采用的就是基于ART-Index的邻接表结构；根据MapReduce分布式图计算框架、BSP分布式图计算框架和GAS分布式图计算框架进行并行的图计算，每台物理服务器在进行计算时都是用在本地缓存的子图数据，每轮迭代之后会在物理服务器间进行一次消息同步操作，消息同步操作完之后进行下一次迭代计算，直到计算结果收敛，或者计算次数达到用户设置值为止；

4)迭代计算结束后会将最终结果写回到数据存储系统中进行持久化。

2.根据权利要求1所述的一种基于ART树分布式系统图存储计算方法，其特征在于，采用ART-indexed邻接表结构对图数据进行存储索引，具体包括：(1)采用邻接表结构来存储单个物理服务器上的所有图数据；对所有源点的出度边采用邻接表存储，邻接表中分别是该源点的目的顶点集合，邻接表的存储开销是O(E_n+V_n)，其中E_n和V_n分别表示图中边和顶点数目；(2)使用自适应基数树来索引边的源点，所述自适应基数树保留了索引数据的顺序用以执行区块的查询；并且当删除和增加新的节点时不需要重新平衡树和重新哈希顶点，图在部分更新时使用共享的结构的方式来实现增量的更新。

3.根据权利要求2所述的一种基于ART树分布式系统图存储计算方法，其特征在于，所述自适应分区算法模块有一组独立的哈希函数并且每一台物理服务器有一个阈值η来限制它应该被赋予的最大边的个数，并且每台物理服务器维护了一个本地分区表用来记录每个顶点以及这些顶点对应的哈希函数序号；在图数据并行加载阶段，对每条边e，首先使用第一个哈希函数散列边e的源顶点s，映射边e到物理服务器m₁，如果分配到物理服务器m₁的边的个数小于阈值η，那么将边e分配到m₁，并且边e的处理过程完成；否则，使用第二个哈希函数来散列边e的源顶点s，并且映射边e到另外一个物理服务器m₂，如果m₂的边的个数比η小，那么边e会被映射到m₂；否则通过对等推理，以顶点s为源点的边有d条边，通过用p个哈希函数将该d条边分配到各个物理服务器，每台物理服务器最多有顶点s的η条边；对每个顶点s，记录当前使用的哈希函数；在图加载完成之后，所有的本地分区表将会被写入全局分区表中，每个顶点s和它们对应的哈希函数的最大个数p以键值对(s,p)的格式存储在全局分区表中。