[发明专利]一种并行社区发现方法和装置

权利要求书

1.一种社区发现方法，其特征在于，该方法包括：

读入原始社交网络数据，将其转换成邻接矩阵的形式并存储在HDFS文件系统上；

在配置有Hadoop环境的计算集群上计算存储在HDFS上的图的邻接矩阵的度矩阵D和Laplacian矩阵L_sym＝I-D^-1/2SD^-1/2；

对所述Laplacian矩阵采用Hadoop框架进行特征值和特征向量的并行Lanczos数值求解，得到矩阵前K个最大特征值I＝λ₁≥λ₂≥…≥λ_K,其对应的特征向量表示成V¹,V²,…,V^K；

将所述特征向量V¹,V²,…,V^K排成一行，构造出特征向量矩阵U＝[V¹,V²,…,V^K]，并对其进行归一化，得到规范化的特征向量矩阵

对规范化的特征向量矩阵Y进行特征提取，将每行看作一个点，代表原来的抽象个体的欧式空间映射，采用简单基于距离的聚类方法将其聚类成K类；

根据点的对应关系，将原来的社区中的个体等价地划为K类，完成社区的分类；

其中，S为邻接矩阵。

2.如权利要求1所述的方法，其特征在于，读入原始社交网络数据，将其转换成邻接矩阵的形式并存储在HDFS文件系统上指：

读入原始社交网络数据，将其建模为有权无向图模型或者无权无向图模型，将建模后得到的图的邻接矩阵W分布式存储在HDFS上。

3.如权利要求1或2所述的方法，其特征在于，

所述原始社交网络数据为存储在HDFS文件系统上的文本文件，其每行的格式为“用户名1用户名2关系权重”，表示两个用户之间的关系强度；或者

为存储在HDFS文件系统上的序列文件；或者

为存储在Hadoop平台的数据库中的关系数据。

4.如权利要求1或2所述的方法，其特征在于，

在配置有Hadoop环境的计算集群上计算存储在HDFS上的图的邻接矩阵的度矩阵D指：

基于MapReduce的并行方法计算邻接矩阵的度矩阵。

5.如权利要求1或2所述的方法，其特征在于，

对规范化的特征向量矩阵Y进行特征提取，将每行看作一个点，代表原来的抽象个体的欧式空间映射，采用简单基于距离的聚类方法将其聚类成K类指：

先顺序选取K个点存储在数组中，然后顺序遍历所有的点，以一定的概率替换掉数组中的某个元素；

再将所有的点分配到各个Map节点，节点计算本地的数据点和中心点的距离，选取最近的中心点作为数据点的归属，输出的结果是<key,value>对，其中key为点的归属，value为点的坐标的平方值；Combine节点将本地点的坐标的平方值进行求和；Reduce节点将所有Combine节点的求和结果进行合并，并计算收敛与否，利用平方项计算每个类别离中心的聚合程度作为聚类好坏的评判标准。