[发明专利]一种基于词汇相似性的LDA主题模型最优主题数确定方法

摘要

本发明公开了一种基于词汇相似性的LDA主题模型最优主题数确定方法，利用LDA模型抽取主题词，基于词向量间的相似性，寻找最优主题数目。首先对文本数据进行分词等预处理，应用LDA主题模型对文本进行主题建模，获得每个主题下对应的词分布；然后将词分布转化为词向量分布，利用向量间的相似性，基于LDA的语义关联，分析主题质量，确定最优主题数目。本发明提出的方法可以自动确定最优主题数目，避免人为设定的局限，更好地服务于微博文本数据的聚类分析。

主权项

1.一种基于词汇相似性的LDA主题模型最优主题数确定方法，其特征在于，包括以下步骤：步骤1：选取初始k值，作为LDA主题模型初始主题数目；步骤2：进行文档主题分离，采样主题，直至收敛；步骤3：生成主题‑词分布，记为(T₁，w₁₁，w₁₂，...，w_1n)、(T₂，w₂₁，w₂₂，...，w_2n)、…、(T_n，w_n1，w_n2，...，w_nn)；其中，T₁、T₂、…、T_n为n个主题，w_ij为每个主题下的词分布；步骤4：将主题‑词分布转换为主题‑词向量分布；步骤5：计算主题质量，对每个主题下的词向量两两计算相似值，获取平均值；步骤6：绘制曲线，为某个主题下的词语相似度平均值，Topic#为对应主题；平均相似度达到最小时，每个主题下的词分布倾向于表达一个主题，分类模型达到最优。