[发明专利]一种基于层次化大规模图数据的运算系统

说明书

本发明公开了一种基于层次化大规模图数据的运算系统，包括图数据采集单元、图数据分析单元、图数据管理单元；图数据分析单元包括图数据分割模块、统计模块、图数据合并模块；图数据管理单元包括运算模块、对比模块、警示模块；图数据采集单元用于采集大规模的图数据，并将图数据通过中值滤波进行噪声过滤处理，然后将处理后的图数据传输至图数据分析单元和图数据管理单元。本发明通过对图数据进行预处理后按照图数据的相邻节点进行分割，然后将分割后的图数据进行整合，并且对预处理图数据进行边界几点采集，得到原始边界，同时将原始边界与整合数据进行对比，判断分割数据的精确性，进而确保图数据的准确性。

技术领域

本发明属于大规模图数据处理领域，涉及一种基于层次化大规模图数据的运算系统。

背景技术

在大数据挖掘时代，图不仅可以直接描述计算机科学、化学以及生物信息学等领域的许多现实应用，例如社交网络、web(网页)图、化学物质以及生物结构等，同时也可以用来描述各种数据挖掘算法，例如矩阵分解或最短路径等等。其中，图包括多个节点以及连接各个节点的边，图数据包括各个节点的节点数据以及连接各个节点的边的边数据，一条边的边数据包括构成该条边的源节点、目的节点和该条边的权值。在单机图计算处理平台(即采用单个计算机进行图计算的处理平台)中，由于单个计算机的本地内存的内存容量有限，当需要计算的图数据的数据量超过该内存容量时，需要对图数据中的边数据进行处理，得到多个边数据块，一个边数据块包括一个或多个边数据。

目前，在对图数据中的边数据进行处理时，采用固定的方法，使得计算机在对一个边数据块中的节点的节点数据进行计算时，若无法直接获取与该节点相关的边数据，则需要对该边数据块中的边数据的排列顺序进行调整才可以得到需要的边数据。例如，在GraphChi(一种单机图计算处理平台)中，由于在图计算时是以目的节点为中心的计算模式，因此，计算机按照目的节点的ID(标识)由小至大的顺序将图数据中的边数据分割为多个边数据块(在GraphChi中称为Shard)，对应同一目的节点的全部边数据被分割在一个边数据块中，但是分割的规则不同得到的边数据块不同，造成最终合并时得到的数据准确率较低。

发明内容

本发明的目的在于提供一种基于层次化大规模图数据的运算系统，该系统通过对图数据进行预处理后按照图数据的相邻节点进行分割，然后将分割后的图数据进行整合，并且对预处理图数据进行边界几点采集，得到原始边界，同时将原始边界与整合数据进行对比，判断分割数据的精确性，进而确保图数据的准确性。

本发明的目的可以通过以下技术方案实现：

一种基于层次化大规模图数据的运算系统，包括图数据采集单元、图数据分析单元、图数据管理单元；

所述图数据采集单元用于采集大规模的图数据，并将图数据通过中值滤波进行噪声过滤处理，然后将处理后的图数据传输至图数据分析单元和图数据管理单元；

所述图数据分析单元对预处理的图数据进行规整分隔为不同的子数据，同时子数据分发给相应的计算节点，然后将每个计算节点计算得到的结果进行统计，并将统计的结果进行合并，各计算节点计算的数据、合并后的数据传输至图数据管理单元；

所述图数据管理单元将预处理图数据进行计算，同时将计算的结果与图数据分析单元中通过分隔合并后的计算结果进行对比，确定其相似度，相似度大于80％时，则将合并后的数据传输至用户，若相似度小于80％则直接向图数据分析单元发出警示，图数据分析单元重新进行图数据的分割，直到达到分隔合并后计算结果与直接对预处理图数据进行计算的结果相似度大于80％。