[发明专利]一种基于词汇相似性的LDA主题模型最优主题数确定方法

权利要求书

1.一种基于词汇相似性的LDA主题模型最优主题数确定方法，其特征在于，包括以下步骤：

步骤1：选取初始k值，作为LDA主题模型初始主题数目；

步骤2：进行文档主题分离，采样主题，直至收敛；

步骤3：生成主题-词分布，记为(T₁，w₁₁，w₁₂，...，w_1n)、(T₂，w₂₁，w₂₂，...，w_2n)、…、(T_n，w_n1，w_n2，...，w_nn)；其中，T₁、T₂、…、T_n为n个主题，w_ij为每个主题下的词分布；

步骤4：将主题-词分布转换为主题-词向量分布；

步骤5：计算主题质量，对每个主题下的词向量两两计算相似值，获取平均值；

步骤6：绘制曲线，为某个主题下的词语相似度平均值，Topic#为对应主题；平均相似度达到最小时，每个主题下的词分布倾向于表达一个主题，分类模型达到最优。

2.根据权利要求1所述的基于词汇相似性的LDA主题模型最优主题数确定方法，其特征在于：步骤2中，根据Gibbs采样公式采样主题。

3.根据权利要求1所述的基于词汇相似性的LDA主题模型最优主题数确定方法，其特征在于：步骤4中，基于维基百科通过word2vec训练词向量，将主题-词分布转换为主题-词向量分布。

4.根据权利要求1所述的基于词汇相似性的LDA主题模型最优主题数确定方法，其特征在于：步骤5中，对每个主题下的词向量两两计算相似值，计算方法是，选取主题T，通过向量相加平均法得到每个主题下的主题词相似度之和的平均值，其公式如下所示：

其中，N_T为主题数，w为主题T下的主题词数目，e(w_i,w_j)为两词语间的相似度，相似度通过余弦值得到，即：

w_i和w_j分别为词语的向量表示；主题词i与主题词j计算相似度值，然后取得主题T下所有分布词的相似度之和，计算得到平均值。

5.根据权利要求1-4任意一项所述的基于词汇相似性的LDA主题模型最优主题数确定方法，其特征在于，步骤6中所述绘制曲线方法为：为某个主题下的词语相似度平均值，通过计算不同Topic#下的值，绘制出横坐标为Topic#数，纵坐标为的折线图，基于连续的Topic#数，找到最小值点，最小值点对应的Topic#数，即为最优主题数目。