[发明专利]一种大规模图结构数据处理方法、装置和系统

权利要求书

1.一种大规模图结构数据处理方法，其特征在于，所述方法包括：

从节点将图结构数据读取至内存，所述从节点将图结构数据读取至内存包括：首先打开指定文件，设定内存地址，将文件内容按行或用户自定义的方式读取到预设的位置，其中，从文件读取到的内容需要解析成可计算的格式；

对所述内存中的图结构数据进行预处理，得到所述图结构数据中相邻顶点处于同一数据片的至少一个数据片，针对大规模图结构数据，对所述内存中的图结构数据进行预处理时，多个从节点同时执行图结构数据的预处理；

将所述预处理所得至少一个数据片映射至从节点；

从节点采用迭代算法对所述映射至从节点的数据片进行计算。

2.根据权利要求1所述的方法，其特征在于，所述对所述内存中的图结构数据进行预处理，得到所述图结构数据中相邻顶点处于同一数据片的至少一个数据片，包括：

根据所述图结构数据的结构确定所述相邻顶点；

以所述图结构数据中任意一个顶点为初始顶点，采用广度优先遍历，尽其所能地将所述图结构数据中相邻顶点分割至同一数据片，所述分割至同一数据片中的顶点数量以预设值为上限。

3.根据权利要求1所述的方法，其特征在于，所述将所述预处理所得至少一个数据片映射至从节点包括：将所述预处理所得至少一个数据片中同一数据片映射至由同一主节点管控的控制域内至少两个从节点；

所述从节点采用迭代算法对所述映射至从节点的数据片进行计算包括：所述至少两个从节点中任意一个从节点采用迭代算法对所述映射至从节点的数据片进行计算。

4.根据权利要求1至3任意一项所述的方法，其特征在于，所述方法还包括：

协调所述图结构数据读取、预处理、映射和数据片计算过程中主节点与主节点之间以及主节点与从节点之间的消息传递。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

将对所述映射至所述从节点的数据片进行计算时所得中间结果存储至所述从节点中的持久存储介质；

在执行计算的从节点出现异常或错误时，将所述中间结果重新映射至由同一主节点管控的控制域内另一从节点，由所述另一从节点根据所述中间结果继续所述计算过程。

6.一种大规模图结构数据处理装置，其特征在于，所述装置包括：

数据读取单元，用于将图结构数据读取至内存，从节点将图结构数据读取至内存包括：首先打开指定文件，设定内存地址，将文件内容按行或用户自定义的方式读取到预设的位置，其中，从文件读取到的内容需要解析成可计算的格式；

数据预处理单元，用于对所述内存中的图结构数据进行预处理，得到所述图结构数据中相邻顶点处于同一数据片的至少一个数据片，针对大规模图结构数据，对所述内存中的图结构数据进行预处理时，多个从节点同时执行图结构数据的预处理；

映射单元，用于将所述预处理所得至少一个数据片映射至从节点；

算法执行单元，用于采用迭代算法对所述映射至所述从节点的数据片进行计算。

7.根据权利要求6所述的装置，其特征在于，所述数据预处理单元包括：

相邻顶点确定单元，用于根据所述图结构数据的结构确定所述相邻顶点；

分割单元，用于以所述图结构数据中任意一个顶点为初始顶点，采用广度优先遍历，尽其所能地将所述图结构数据中相邻顶点分割至同一数据片，所述分割至同一数据片中的顶点数量以预设值为上限。

8.根据权利要求6所述的装置，其特征在于，所述映射单元具体用于将所述预处理所得至少一个数据片中同一数据片映射至由同一主节点管控的控制域内至少两个从节点；

所述算法执行单元位于所述至少两个从节点中任意一个从节点，所述算法执行单元具体用于采用迭代算法对所述映射至从节点的数据片进行计算。

9.根据权利要求6至8任意一项所述的装置，其特征在于，所述装置还包括：

通信控制单元，用于协调所述图结构数据读取、预处理、映射和数据片计算过程中主节点与主节点之间以及主节点与从节点之间的消息传递。