[发明专利]一种基于LDA主题模型的OSN社区发现方法

权利要求书

1.一种基于LDA主题模型的OSN社区发现方法，其特征在于，利用在线社交网络中用户与其好友的关系以及用户自发表达的文字信息进行OSN社区发现过程，包括如下步骤：

1)进行数据集预处理，对原始用户微博文档进行分词、去停顿词、去噪等预处理工作，对记录用户关系的文档中的followers数据集进行用户关系双向化处理并剔除没有好友的用户；

2)根据既定社区元素构建LDA主题模型，包括基于社区内部微博内容语义相似性构建的主题模型LDA-T和基于拓扑连接紧密性构建的主题模型LDA-F，所述LDA-T中词项集是由用户所有推文中的词项构成的集合，文档集是由所有用户的推文构成的集合，主题为社区的集合，所述LDA-F中词项集是由用户的所有好友构成的集合，文档集是由所有用户构成的集合，主题是社区的集合；

3)根据步骤2得到的模型LDA-T和LDA-F，对文档下主题概率分布以及主题下词项概率分布施加Dirichlet分布，生成基于超参数的联合概率分布p(w_m,z_m,θ_m,Φ|α,β)，其中，α和β是Dirichlet分布的超参数，w_m表示第m篇文档中所有词项的集合，z_m表示第m篇文档中所有词项对应的主题的集合，θ_m表示第m篇文档的主题概率分布，Φ表示所有主题下的词项概率分布的集合；

4)根据步骤3得到的联合概率分布，利用吉布斯采样算法估计给定文档时主题的概率分布θ_m和给定主题时词项的概率分布

5)根据步骤4得到的参数获取社区。

2.根据权利要求1所述的基于LDA主题模型的OSN社区发现方法，其特征在于，所述步骤1去除的噪声包括URL、标点符号、语气词和表情符号。

3.根据权利要求1所述的基于LDA主题模型的OSN社区发现方法，其特征在于，所述步骤2中LDA模型中文档的生成过程和参数约定为：

1)对每个主题k∈[1,K]，采样主题k的词项概率分布

2)对每个文档m∈[1,M]，采样文档m的主题概率分布θ_m～Dir(α)；

3)对每个文档m∈[1,M]，采样文档m的长度N_m～Poiss(ξ)；

4)对每个文档m中的词项n∈[1，N_m]，选择隐含的主题z_m,n～Mult(θ_m)，生成一个词项

其中，N_m表示第m篇文档所包含的词项数，K表示主题数目，M表示文档数目，α、β、ξ为概率分布的参数。

4.根据权利要求3所述的基于LDA主题模型的OSN社区发现方法，其特征在于，所述步骤3生成的联合概率分布为：

其中，w_m表示第m篇文档中所有词项的集合，z_m表示第m篇文档中所有词项对应的主题的集合，θ_m表示第m篇文档的主题概率分布，Φ表示所有主题下的词项概率分布的集合，α和β是Dirichlet分布的超参数，w_m,n表示第m篇文档的第n个词项，z_m.n表示第m篇文档中第n个词项所对应的主题，N_m表示第m篇文档所包含的词项数。