[发明专利]一种基于流式分析的重叠社区发现方法及装置

说明书

本发明属于网络重叠社区发现技术领域，公开一种基于流式分析的重叠社区发现方法，该方法通过计算网络中节点度的众数作为阈值，然后利用Fisher‑Yates洗牌算法来对网络中的边的顺序进行随机化处理，以保证能够以随机的顺序读取网络中的边，然后利用节点的度信息、节点对社区的贡献度以及社区间连边的数量变化等信息作为节点划的标准来挖掘网络中隐藏的社区结构；本发明还公开一种基于流式分析的重叠社区发现装置。本发明提高了在大规模网络中进行社区发现任务的精度，并将算法扩展到了重叠社区，能够在线性的时间和空间复杂度下快速的在大规模网络中发现社区。

技术领域

本发明属于网络重叠社区发现技术领域，尤其涉及一种基于流式分析的重叠社区发现方法及装置，用于大规模网中。

背景技术

随着社交网络、物联网的兴起，网络的规模越来越大，现有的很多网络已经发展到具有数千万个节点和数十亿条边。在这些大规模网络中快速的找到隐藏的社区结构变得十分重要，而传统的很多方法在计算时间和内存消耗上没办法处理如此大规模的网络。文献(Hollocou A,Maudet J,Bonald T,et al.A Streaming Algorithm for GraphClustering[C].neural information processing systems,2017:1-10.)提出了一种线性流式的大规模网络社区发现算法SCoDA，该算法具有线性的时间和空间复杂度，能够快速的发现大规模网络中隐藏的社团组织。但是该算法仅利用节点的度信息作为节点划分标准，虽然提高了时间效率和空间效率，但是划分的社区质量不高，且该算法无法检测出网络中的重叠社区。

发明内容

本发明针对SCoDA算法社区发现精度不高，并且只能将节点划分为单个社区的问题，提出一种基于流式分析的重叠社区发现方法及装置，在保持线性时间和空间复杂度的条件下，提高了在大规模网络中社区划分的质量，并将算法扩展到重叠社区领域。

为了实现上述目的，本发明采用以下技术方案：

一种基于流式分析的重叠社区发现方法，包括：

步骤1：计算网络中节点度的众数；

步骤2：随机设置网络中边的顺序；

步骤3：根据节点的度、节点对社区的贡献度、移动前后两个社区之间的连边数量变化对网络中的节点进行划分。

进一步地，所述步骤1包括：

遍历网络中所有的边，对于每一条边，更新边两端的节点的度数，最后得到网络中所有节点的度数，然后通过对所有节点的度数进行统计，得到网络中节点度的众数。

进一步地，所述步骤2包括：

采用Fisher-Yates洗牌算法对网络中的边的顺序进行处理，打乱网络中边的顺序。

进一步地，所述节点对社区的贡献度为：

式中，

N(v)＝{u|u∈V,(u,v)∈E}

其中，表示节点v对社区C的贡献度，N(v)表示节点v的邻居节点，|N(v)|表示节点v的邻居节点数量，表示节点v在社区C内的邻居节点，表示节点v在社区C内的邻居节点数量。

进一步地，所述步骤3包括：

对于每一条新来的边e＝(u,v)，更新节点的u和v的度，如果节点u和v中有一个节点度大于阈值D且另一个节点度为1，则把度为1的节点移动到另一个节点所在的社区；