[发明专利]基于索引构建和社会因控网络进行社区检测的分析方法

说明书

本发明公开一种基于索引构建和社会因控网络进行社区检测的分析方法，主要分为以下两个步骤进行，首先根据社会因控理论来构建泛化的因果关系网络，然后依据FTV框架理论构建索引，进行查询，挖掘网络的社区结构；社会因控理论构建因果关系网络，实施步骤使用构建的网络，然后基于FTV框架理论，进行查询工作，挖掘网络中社区结构；构建网络中字典结构。

技术领域

本发明属于网络分析领域，是一种基于索引构建进行查询，社会因控论进行分析的方法。首先根据社会因控关系构建因控关系网络，然后使用索引技术来提高查询的速度和准确性，并以此来分析网络中的社区关系。

背景技术

近年来，随着社交网络的普及和发展，越来越多的用户产生了大量的数据，如何来从海量的数据中分析其中可能的社区结构，成为了网络分析领域的一个挑战。这些年来，海量数据带来的问题，由于类似hadoop这类技术的出现，已经慢慢从数据存储转移到网络构建和网络分析上来，从海量数据分析出可能社区结构，对于各种领域都有很大的作用。例如，从社交网络中分析出各种潜在的社区，能挖掘出各种欺诈团伙，这对于净化网络安全，有着非凡的意义。这一部分主要介绍网络分析中社区检测的研究现状。

针对海量数据的社区检测目前已经进行了很多研究。海量图数据的构成往往有两种类型，一种是由海量数据组成的超大规模的图构成，包括社交网络、万维网、电商交易网络等等。这种类型的网络，例如社交网络中，图中每个节点代表人，每一条边代表人与人之间的关系，这种类型的图的查询，最早开始被认为是NPC问题由KARP.R.M提出,社区检测的目的是找出网络中紧密相连的关系和人，由此可以分析可能发生的事件，比如对危险诈骗团伙的发掘。KARP提出使用最大完全图的方法对海量数据图进行查询和社区检测建模。另外一种海量的小范围图组成的图网络，比如说化合物网络。在众多化合物组成的网络中，每个原子代表一个节点，每一条边代表原子之间的作用力。这类问题可以使用子图近似匹配的方法来进行查询，但是这个问题也是NPC问题，在1976年J.Ullmannn使用回溯法首次提出了可解方式。本发明专利针对第一种图查询类型。

按照KARP.R.M的方法理论，虽然海量数据图查询问题由NPC问题转化为了可解问题，但是查询速度太慢，尤其是当今数据激增，这种方法就更加难以适应当前环境，后来V.Bonnici提出了一种解决框架，过滤后验证框架(FTV框架)，这种框架极大的加快了查询速度和提高了查询的精度。

本方法首先根据社会因控理论相关关系，对网络进行建模，构建因果关系网络，然后依据FTV框架理论对构建的网络进行查询分析，从而达到更好的匹配，依据索引查询技术重构社区检测方法，本方法不论实际的实验效果方面还是对于后续扩展性研究都有十分重要的意义。

发明内容

本方法主要是挖掘海量数据图中的社区结构，通过FTV框架理论来加快查询速度和提高查询准确度，从而能更加快速的在大规模静态图数据中挖掘社区结构。本方法在欺诈团伙检测、相同兴趣小组推荐和事件爆发预警等相关场景中有很大的应用价值。

本方案主要分为以下两个步骤进行，首先根据依存句法抽取因果关系，然后利用抽取的因果关系构建泛化因果关系网络。

本方法主要分为以下两个步骤进行，首先根据社会因控理论来构建泛化的因果关系网络，然后依据FTV框架理论构建索引，进行查询，挖掘网络的社区结构。

社会因控理论构建因果关系网络，实施步骤如下：

步骤一，构建网络。使用当前的pyspider框架，爬取微博中博客内容和微博中好友关系列表数据，作为本方法的实证数据。

对博客的具体内容进行数据处理，使用复旦大学的分词器把用户的博文内容进行划分，并剔除无关语气词，使用FNLP关键词提取对输入的博文数据，提取关键词。然后对词性进行划分，然后进行语义解析，进行查询抽象((见图1))。