[发明专利]一种用于大规模动态图数据的高效处理流程方法

说明书

本发明涉及一种用于大规模动态图数据的高效处理流程方法；属于计算机数据处理技术领域。本发明基于NoSQL数据库采用数据预处理对大规模图数据集进行过滤精简数据，确认待分析问题重要度较强的节点；基于关键节点结合网络结构做社区检测；将社区检测后的结果赋予优先级；将高关联度的关键节点之间的的边作为后期处理的数据，进行挖掘。本发明提供的用于大规模动态图数据的高效处理流程方法，能够通过合理筛选数据的方法，在高复杂度的场景下，提升图数据的处理效率。

技术领域

本发明涉及一种用于大规模动态图数据的高效处理流程方法；属于计算机数据处理技术领域。

背景技术

一直以来，关系数据模型在商业数据中占统治性地位，但是随着数据获取来源的增加以及数据处理技术的发展，数据的数量越来越多，形式也越来越复杂，应用的范围越来越广，对数据处理灵活性和实时性的要求越来越强。关系数据模型在数据建模上的缺陷和问题以及在大数据量和多服务器上进行水平伸缩的限制。

因此NoSQL数据库(非关系型数据库)应运而生，NoSQL是一类应用范围非常广泛的数据持久化解决方案，它们不遵循关传统的系数据库模型，也不使用SQL作为查询语言。其数据存储不须遵循固定的表格模式，一般具有水平可扩展的特征，适应数据快速增长的应用场景。多种多样的NoSQL数据库按照它们所使用的数据模型基本上可以分为如下4类：Key-Value store，BigTable-Implementations，Document-stores，Graph Database。

图数据库是NoSQL在现代化应用场景中经常使用的典型代表。

图数据库起源于欧拉和图理论，其基本含义是以“图”这种数据结构存储和查询数据，其数据模型主要以节点和边来体现，其优点在于可以快速解决复杂的关系问题。常见的图模型还可以是一个被标记和标向的多重属性图，属性图允许每个节点和边有一组可变的属性列表，其中的属性是关联某个名字的值，简化了图形结构。在图数据中，不需要关系型数据库中的JOIN操作即可解决复杂的关系问题，借助于图数据库这一强大的工具，当下很多场景中的数据都转为了图数据模型。而后端的数据处理系统也用传统的关系型数据处理系统升级为图数据处理系统。

随着互联网，尤其是移动互联网的蓬勃发展以及数据采集技术的巨大进步，用户、系统和传感器所产生的数据量呈现指数增长，一些大规模的图数据集有上亿，甚至十亿、百亿级的节点和边。图计算的相关算法本身复杂度就比较高，计算耗时对数据规模的敏感度非常高。处理如此大规模的图数据，所需要的运算力已经远远超过传统的单机处理方式的上限，必须采用大规模机器集群构成的并行处理系统。但是与图计算相关的算法时间复杂度往往较高，许多问题也已被证明是NP难问题。简单地增加集群规模不仅给集群控制工作增添了压力，也增加很多成本，取得的效果也非常有限。

因此，开发一种从处理方式层面上高效解决图处理问题的图数据处理系统非常有必要。

发明内容

本发明针对上述问题提供了结合了预处理机制，支持数据预筛选的大规模动态图数据高效处理流程方法，具体是一种用于大规模动态图数据的高效处理流程方法。

本发明采用如下技术方案：

本发明所述的用于大规模动态图数据的高效处理流程方法，处理步骤如下：

1)、基于NoSQL数据库采用数据预处理对大规模图数据集进行过滤精简数据，经过精简后的大规模图数据集中剔除待分析问题中非同属性数据；

2)、确认待分析问题重要度较强的节点，该节点定义为关键节点；

3)、基于关键节点结合网络结构做社区检测；

4)、将社区检测后的结果赋予优先级，将带优先级的数据集筛选得到高关联度的关键节点；

5)、将高关联度的关键节点之间的边作为后期处理的数据，进行挖掘。