[发明专利]基于噪声图流的局部社区检测方法及其系统、终端与介质

说明书

本发明公开了基于噪声图流的局部社区检测方法及其系统、终端与介质。所述检测方法用于从文件系统中以数据流的方式读取图集中每一张图中的边，这些边的集合定义为图流，通过检测图流中的每一条边获得待检测社区。所述检测方法包括：定义边的集合和节点集合；检测噪声边；扩展待检测社区的节点集合；修剪扩展后的节点集合形成所述待检测社区。本发明在面对大规模数据集时面临的巨大内存开销，以及检测的准确度容易受到图中噪声边的影响，通过流式读取的方式极大的减少了内存的开销，使得该方法能够应用于大规模数据图的应用场景，并且通过噪声边的检测以及定义了一个健壮性的节点隶属度指标来减少噪声边对社区检测准确度的影响，获得较高的准确度。

技术领域

本发明涉及复杂网络社区检测技术领域中的一种局部社区检测方法及其系统、终端与介质，尤其涉及一种基于噪声图流的局部社区检测方法及其系统、终端与介质。

背景技术

现实中生活复杂网络随处可见，如社交网络、万维网、电力网、生物蛋白质网络等，这些复杂网络并非由顶点(即节点)随机连接组成，相同类型的顶点往往连接在一起形成一个个紧凑的社区，社区结构通常反映了网络中存在的特定模式或功能。例如，在生物网络中，生物群落代表具有共同习性的物种模块；在WWW(万维网)网络中，它表示具有相同或相似主题类别的网页或属性，社交网络中社区表示具有相同兴趣、地区、背景的社会团体。社区发现在探测复杂网络的功能特性,网络内部拓扑结构,和网络行为的预测等方面都有着极为重要的理论价值和实践意义。它能有效地指导研究者对复杂系统的组织模式和运行机制进行更加深入地探讨和研究。

然而，一方面当前复杂网络的规模爆炸式的增长，导致传统的将全部图载入内存的社区检测算法面临巨大的内存开销问题，即使是局部社区检测,通常也要花费较长的时间得到结果。

另外一方面，现有的图流社区检测方法假定流数据是完整和干净的，这在现实世界中很少发生。社交网络中的社交垃圾邮件或银行和金融网络中的异常交易行为可能会引入噪声链接，导致我们获取的图形流数据包含大量的噪声边。这些噪声边缘显示了错误的链接结构信息，并且在扩展社区时很容易错误地将社区外部的节点添加到社区中，从而导致社区污染。

发明内容

为了解决传统社区检测算法面临巨大的内存开销问题以及噪声问题，本发明提供一种基于噪声图流的局部社区检测方法及其系统、终端与介质。

为达到上述目的，本发明采用以下技术方案实现：

一种基于噪声图流的局部社区检测方法，其用于从文件系统中读取图集中每一张图中的边，这些边的集合定义为图流，通过检测所述图流中的每一条边获得待检测社区，所述检测方法包括以下步骤：

S1、定义边的集合S和节点集合K

从文件系统中以数据流的方式读取所述图流，所述图流为集合S：S＝{e₁，e₂，…，e_m}，m表示边e的序号，每条边e具有两个节点；

指定固定数量的多个节点作为种子节点，由此形成检测社区扩展的多个初始节点：k₁，k₂，…，k_n，n表示种子节点k的序号，构成节点集合K：K＝{k₁，k₂，…，k_n}；

S2、检测噪声边

对于读入的每一条边，计算每条边中两个节点之间的相似度以及每条边到待检测社区的距离；

将所述相似度和所述距离分别同预先设置的相似度阈值范围和距离阈值范围比较，如果所述相似度不在所述相似度阈值范围内，则判定相应的边与待检测社区无关，从集合S中进行剔除，否则判定相应的边影响待检测社区的检测结果，在集合S中进行保留；如果所述距离不在所述距离阈值范围内，则判定相应的边与待检测社区无关，也从集合S中进行剔除，否则也判定相应的边影响待检测社区的检测结果，也在集合S中进行保留；