[发明专利]针对复杂网络的基于群思想改进的Fast-Newman聚类方法

说明书

技术领域

本发明属于社区网络的数据挖掘领域，针对复杂网络簇结构的聚类，具体涉及一种基于群思想改进目标函数的优化类聚类方法。

背景技术

随着计算机、数学、物理、生物、社会学、复杂性科学等学科的不断发展，人们发现，现实世界中的众多系统都以复杂网络的形式存在，如因特网、移动电话网、带白纸交互网、神经元网等。由于这类网络中节点和连接关系的异构性，簇结构(cluster structure)成为复杂网络最普遍和最重要的拓扑结构属性之一。网络簇结构具有簇内节点相互连接紧密、簇间节点连接稀疏的特点。研究复杂网络聚类算法和揭示真实的网络簇结构是分析复杂网络中节点关系随时间的演化过程、信号或信息在网络中的传播速度与范围以及预测网络中节点的行为等众多问题的基础，具有重要的理论意义。同时，聚类算法已被应用于恐怖组织识别、社会网络分析与组织管理、未知蛋白质功能预测、主控基因识别以及Web社区挖掘和搜索引擎等众多领域，具有广阔的应用前景。

早期的复杂网络聚类算法有谱方法和Kernighan-Lin算法(KL算法)。谱方法将复杂网络建模为一个图，并将聚类问题转化成二次型优化问题，通过计算特殊矩阵的特征向量来最小化预定义的“截函数”，从而产生分割网络的效果。谱方法终止时需要依赖先验知识，并且其递归平衡二分策略对于多簇网络结构具有明显劣势。KL算法同样基于图分割思想，将极小化簇间连接与簇内连接数目之差作为优化目标，通过不断调整节点所属簇结构，选择并接受可以使目标函数极小化的候选解。KL算法在应用中同样依赖先验知识，并对初始解非常敏感，不好的初始解会导致聚类过程收敛速度缓慢并且结果较差。

2002年，Flake等人基于最大流-最小截定理提出了启发式聚类算法Maximum Flow Community(MFC算法)。Flake认为具有簇结构的网络中，网络“瓶颈”由簇间连接构成，MFC算法通过计算最小截集，识别网络“瓶颈”，删除簇间连接，将网络逐渐分割成簇结构。但MFC算法基于连接进行聚类，不适用于节点异构的网络。同年，Girvan和Newman提出了Girvan-Newman算法(GN算法)。该算法同样使用启发式规则，通过反复计算网络中的边介数，识别并删除簇间连接，生成一颗自顶向下的层次聚类树。GN算法最大的缺点在于计算量过大，算法收敛速度慢，不适合应用于大规模网络。

2004年，Newman提出了的Fast-Newman算法(FN算法)，该算法是一种优化算法，优化目标是Newman和Girvan在同年提出的著名的网络模块性评价函数(或称Q函数)。初始状态下，FN算法将每一个节点看作一个簇，通过在迭代过程中最大化Q函数的合并操作，计算出自底向上的包含层次聚类过程的簇结构关系树。基于Q函数，Guimera和Amaral提出了融合模拟退火算法的Guimera-Amaral算法(GA算法)，该算法通过计算候选解对应的Q函数值来评价其优劣，并通过模拟退火策略的Metropolis准则决定是否接受候选解，这一算法是目前聚类精度最高的算法。除此以外，很多复杂网络聚类算法都以最大化Q函数为优化目标，这类算法解决了过度依赖初始解和启发式算法中收敛速度过慢的问题。

但是，Q函数的优化依然存在缺陷：首先，基于优化思想的聚类算法所识别出的网络簇结构优劣完全取决于优化的目标函数，“有偏”的目标函数会导致“有偏”的解。由于Q函数是有偏的目标函数，所以，聚类精度在Q函数达到全局最大值时并非最高，此时的优化算法聚类结果并不能完全准确地刻画真实的网络簇结构。其次，随着复杂网络规模的不断扩大，优化算法中目标函数值计算和迭代过程本身时间复杂度不断提高，导致聚类运算消耗的时间和资源越来越多。

发明内容

针对目前FN算法中Q函数的优化存在的缺陷：聚类精度在Q函数达到全局最大值时并非最高，此时的聚类结果并不能完全准确地刻画真实的网络簇结构，并且随着复杂网络规模的不断扩大，聚类消耗的时间和资源越来越多，本发明提出了一种针对复杂网络的基于群思想改进的Fast-Newman聚类方法。

本发明提出的一种针对复杂网络的基于群思想改进的Fast-Newman聚类方法，具体包括如下步骤：

步骤1：统计网络中的所有节点，并为每个节点顺序编号，设节点总数为N，i为节点的编号，1≤i≤N，对网络中的每个节点i，设置其所在的社区号为i；