[发明专利]基于融合BTM模型的短文本主题聚类方法

摘要

本发明公开了一种基于融合BTM模型的短文本主题聚类方法，属于数据聚类技术领域。本发明首先对待聚类的短文本进行文本预处理，得到数据集D；然后分别提取基于BTM模型、VSM模型的文本向量；在对数据集D进行k‑means聚类时，基于本发明所设置的估计聚类数k方式所获得的聚类数，进行k聚类处理，且聚类处理时采用的聚类标准为：基于两个文本向量所分别计算的任意两个文本间的距离的加权和。本发明结合BTM模型和VSM模型实现对短文本主题的聚类处理，以提高聚类效果；同时基于类内、类间距离对聚类效果进行度量，自动调节聚簇数量，补偿BTM模型需提前预指定主题数量导致的精度下降的技术问题。

主权项

1.一种基于融合BTM模型的短文本主题聚类方法，其特征在于，包括下列步骤：步骤S1：对待聚类的短文本进行文本预处理，得到数据集D；步骤S2：基于数据集D，以及预设的主题个数K，进行BTM模型建模，生成文档‑主题分布矩阵和主题‑词分布矩阵；并基于文档‑主题分布矩阵表示数据集D中的任意文本i的文本向量，记为d_{i_btm}；步骤S3：基于数据集D，基于TF‑IDF策略对数据集D中的任意文本i进行文本向量表示，记为d_{i_vsm}；步骤S4：初始化标记位k＝k_min，其中k_min表示k‑means算法的聚类个数的下限；步骤S5：若k＞k_max，则执行步骤S8；否则执行步骤S6；其中k_max表示k‑means算法的聚类个数的上限；步骤S6：从数据集D中随机选取k个文本向量作为初始聚类中心，并基于k‑means算法对数据集D进行k聚类处理，基于得到的聚类结果计算对应k值的聚类质量J(k)；定义标记位对应的k的聚类质量为若则更新后，再执行步骤S7；否则直接执行步骤S7；其中，在进行聚类处理时，采用的聚类标准为：第一距离和第二距离的加权和，其中第一距离为基于文本向量d_{i_btm}的JS距离，第二距离为基于文本向量d_{i_vsm}的余弦距离；聚类质量其中I(k)表示类内距离，B(k)表示类间距离；所述类内距离为每个文本与其他文本的平均距离的最小值；所述类间距离为不同聚类间最近的两个文本的距离；步骤S7：更新k＝k+1后，继续执行步骤S5；步骤S8：基于k‑means算法进行k聚类处理，其中