[发明专利]文本聚类方法、装置及电子设备

说明书

技术领域

本发明涉及文本挖掘技术领域，具体而言，涉及一种文本聚类方法、装置及电子设备。

背景技术

顾名思义，聚类即按照某些特征和规则将整个数据集分成若干组的过程，各个组内元素在某些特征方面具有较高的相似性，而组间元素则在这些特征方面具有较大的差异性，所得到的各个组即为一个聚类，也常称之为“簇”。目前，文本聚类方法有划分聚类、层次聚类、基于密度的聚类、基于语义的聚类以及基于各种模型理论的聚类。

上述聚类方法大多需要分词或特征项支撑，因而决定了特征选择或降维是一项重要的研究内容。对中文、维吾尔文等语言而言，往往离不开分词的支持，相应的分词准确性和速度问题也随之而来，最终也将影响聚类的速度、准确率和召回率。

发明内容

有鉴于此，本发明的目的在于提供一种文本聚类方法、装置及电子设备，以解决上述问题。

为实现上述目的，本发明提供如下技术方案：

本发明较佳实施例提供一种文本聚类方法，所述方法包括：

将多个不同主题的原始文档集合并为一个文档并集；

将所述文档并集中的文档进行升序排列，得到升序文档并集；

依次计算所述升序文档并集中的第一个文档与所述第一个文档之后的所有文档的相似度，若计算出的相似度大于或等于第一阈值，将该文档与所述第一个文档归属于一类，若计算出的相似度小于所述第一阈值，则将该文档记为未归类文档；

依次计算所述升序文档并集中未归类文档中第一个文档与该第一个文档之后的所有未归类文档的相似度，若计算出的相似度大于或等于所述第一阈值，将该未归类文档与所述未归类文档中第一个文档归属于一类，若计算出的相似度小于所述第一阈值，则跳过该未归类文档，直到完成所述升序文档并集中最后两个未归类文档的相似度计算及分类，从而得到多个初始聚类。

优选地，所述方法还包括：

过滤掉所有文档数小于第二阈值的初始聚类，得到多个过滤聚类。

优选地，所述方法还包括：

对所述过滤聚类进行聚类合并，得到多个最终聚类，其中，所述最终聚类与所述原始文档集相对应，即所述最终聚类的个数与原始文档集的个数相同，所述最终聚类的主题与原始文档集的主题相同。

优选地，所述对所述过滤聚类进行聚类合并，得到多个最终聚类的步骤包括：

获取每个过滤聚类的标志文档；

将每个过滤聚类的标志文档进行聚类分析，若两个标志文档归属于一类，则合并这两个标志文档所在的过滤聚类，得到多个最终聚类。

优选地，所述方法还包括：

采用正确覆盖率评价各个最终聚类的准确率，其中，最终聚类的正确覆盖率的计算公式为其中，P_k表示与D_k原始文档集对应的最终聚类的正确覆盖率，nk表示D_k原始文档集内文档的个数，q表示与D_k原始文档集对应的最终聚类中正确文档的个数。

优选地，所述方法还包括：

采用F值综合评价各个最终聚类，其中，最终聚类的F值的计算公式为其中，R表示最终聚类的召回率，a表示最终聚类的召回率的权系数。

优选地，所述相似度的计算公式为其中W(e_k)是元素e_k的权重评价函数，d_i和d_j表示升序文档并集中两个待进行相似度计算的文档。

本发明另一较佳实施例提供一种文本聚类装置，包括：

合并模块，用于将多个不同主题的原始文档集合并为一个文档并集；

升序模块，用于将所述文档并集中的文档进行升序排列，得到升序文档并集；

聚类模块，用于依次计算所述升序文档并集中的第一个文档与所述第一个文档之后的所有文档的相似度，若计算出的相似度大于或等于第一阈值，将该文档与所述第一个文档归属于一类，若计算出的相似度小于所述第一阈值，则将该文档记为未归类文档；以及

依次计算所述升序文档并集中未归类文档中第一个文档与该第一个文档之后的所有未归类文档的相似度，若计算出的相似度大于或等于第一阈值，将该未归类文档与所述未归类文档中第一个文档归属于一类，若计算出的相似度小于所述第一阈值，则跳过该未归类文档，直到完成所述升序文档并集中最后两个未归类文档的相似度计算及分类，从而得到多个初始聚类。