[发明专利]一种用于大规模动态图数据的高效处理流程方法

权利要求书

1.一种用于大规模动态图数据的高效处理流程方法，其特征在于：处理步骤如下：

1）、基于NoSQL数据库采用数据预处理对大规模图数据集进行过滤精简数据，经过精简后的大规模图数据集中剔除待分析问题中非同属性数据；

2）、确认待分析问题中重要度较强的节点，该节点定义为关键节点；

3）、基于关键节点结合网络结构做社区检测；

4）、将社区检测后的结果赋予优先级，将带优先级的数据集筛选得到高关联度的关键节点；

5）、将高关联度的关键节点之间的边作为后期处理的数据，进行挖掘；

所述步骤2）中关键节点分为人工定义节点或NoSQL数据库处理选择后的节点；

针对关键节点通过设定属性及属性阈值；NoSQL数据库通过算法将属性和属性的阈值作为筛选条件在大规模图数据集中进行检索；并将满足条件的节点设定为关键节点；

通过得到的关键节点作为种子节点，基于种子节点通过基于种子节点的社区发现方法进行社区检测；

预处理过程主要执行getWeight()方法和pick()方法；

数据进行预处理的目的是通过用户设定的seed_property引入用户兴趣，从数据集中剔除掉那些与用户兴趣相关度低，处理价值不高的数据，保留跟用户兴趣相关度高，质量较高的数据，在经过筛选后的数据集上运行图计算方法；

用户自行定义getWeight()方法和pick()方法；

getWeight()方法的目的是计算节点在整个图中的权重值；此权重值被看作节点在图计算中的优先级，此优先级由节点与关键节点的关联度决定，那些与关键节点距离近，关联大的节点在计算中被赋予更高的优先级；根据社区发现的结果设定节点的优先级，将离关键节点远的节点的优先级调低，或将离关键节点近的节点的优先级调高；

pick()方法用于从经预处理后的数据中选取与用户兴趣关联度大的数据，在选取下一步要计算的数据时，优先选择那些计算优先级较高的节点。

2.根据权利要求1所述的用于大规模动态图数据的高效处理流程方法，其特征在于：在社区检测中通过调节社区半径、模块度方法以限制筛选后数据的规模。

3.根据权利要求1所述的用于大规模动态图数据的高效处理流程方法，其特征在于：通过应用场景下的seed_propert用于预处理的属性；通过seed_propery及具体值去判定节点是否是用于社区发现的种子节点。

4.根据权利要求1所述的用于大规模动态图数据的高效处理流程方法，其特征在于：在大规模图数据集处理中进程执行monitor()方法，用于监测本系统中已经存入的节点数目；当已存入的达到预先设定的阈值时，即开始执行数据预处理方法。