[发明专利]一种基于社区划分的在线社交网络海量数据存储方法

摘要

本发明公开一种基于社区划分的在线社交网络海量数据存储方法，从社交网络的图结构出发，首先根据节点度大小将网络分成名人用户层和普通用户层，再对每一层利用模块度优化的方法进行社区划分。设计一种小集团结伴策略对初始网络进行预处理，形成一个超网，采用边权重优先方案逐步合并超节点以提高模块度。社区划分完成之后，优先存储普通用户数据，将同一社区的用户数据存储在相同服务器节点上，对于名人用户数据优先考虑选择存放在粉丝最多的服务器，其次考虑存放在自身社区所在的服务器节点。设计名人用户数据多副本存储，以减少单台服务器的负载。利用社区划分方法存储社交网络数据，可以提高访问的局部性，减少通信耗费。

主权项

一种基于社区划分的在线社交网络海量数据存储方法，其特征在于包括以下步骤：(1)获取社交网络结构；(2)将步骤(1)中所得的社交网络结构分为名人用户网络层和普通用户网络层；(3)采用模块度优化方法对步骤(2)中所得普通用户网络层和名人用户网络层分别进行社区划分，具体方法如下：(31)假设初始网络有n个节点，编号为i，且i＝1,2,...,n，每个节点的度分别为ki，依据节点度优先方法，优先让度大的节点选择h跳以内的好友为一个小集团，再从剩余的节点中找到节点度最大的节点，重复结伴操作，直至所有节点都被包含在一个小集团中，对每个小集团编号Ci，即初始的社区编号；(32)结伴操作完成后，将每个小集团封装成一个超节点，超节点与超节点之间边的权重设定为内部子节点之间的权重之和，形成超网G0，即初始的网络结构；(33)通过模块度优化的方法，将超节点合并，超节点之间连边的权重越大，则说明两个超节点内部的节点联系越紧密；设t时刻网络结构为Gt，邻接矩阵为At；根据公式计算此时模块度为Qt，公式中ki＝∑iAij，m为网络中所有连边的权重之和，即ki是节点i连边的权重之和，kj＝∑jAij，Ci表示节点i所在的社区编号，Cj表示节点j所在的社区编号，δ(Ci,Cj)是一个关于Ci和Cj的函数，当Ci＝Cj时，δ(Ci,Cj)的值为1，反之为0，j为用户编号，取值1，2，3…，编号为j的节点的度分布为kj；Aij表示节点i指向节点j的边的权重；(34)t+1时刻的合并超节点操作中，采用权重优先策略，优先将权重大的边两端的超节点合并，计算合并后的模块度Qnew；如果Qnew≥Qt，则选择合并，Qt+1＝Qnew，形成网络Gt+1；反之不合并，继续选择边权重次大的两个超节点合并；(35)重复步骤(33)及步骤(34)的过程，直至模块度的值稳定为止，稳定状态时相邻两个时刻的模块度的值相差不大于ε值，即Qt+1‑Qt≤ε；(4)按照社区大小进行数据存储；(5)将名人用户进行多副本存储。