[发明专利]一种文本聚类方法、装置和计算设备

说明书

本发明公开了一种文本聚类方法，适于在计算设备中执行，该方法包括步骤：获取多条文本数据构成第一文本库，并通过比较各文本的第一签名值来对第一文本库进行聚类，得到n个第一聚类分组；分别从各第一聚类分组中选取一个第一代表文本构成第二文本库，并通过计算各第一代表文本的相似度来对第二文本库进行聚类，得到m个第二聚类分组；对于每个第二聚类分组，将其中的各第一代表文本均替换为第一代表文本所属的第一聚类分组的文本，得到对应的m个第三聚类分组；以及分别计算各第三聚类分组内所有文本的最长公共子串，并根据该最长公共子串生成各第三聚类分组的文本表达模式。本发明还一并公开了对应的文本聚类装置和计算设备。

技术领域

本发明涉及计算机与互联网技术领域，尤其涉及一种文本聚类方法、装置和计算设备。

背景技术

文本聚类泛化算法是在文本数据挖掘和智能运维里面非常重要的一项技术。这些文本数据中一般记载着日期、时间、使用者及动作等相关操作的描述，通过对这些文本数据进行聚类分析，可以大幅度降低运维人员的信息阅读量，提高运维人员的故障定位效率。

但目前的文本聚类方法多是采用单一的聚类算法对海量数据都进行一次两两的相似度计算，然后再根据相似度的约束进行分组。这种方法计算成本大、计算时间长且分组精度差，无法满足大数据时代下的数据分析需求。

因此，需要提供一种更快速且分组精度更好的文本聚类方法。

发明内容

鉴于上述问题，本发明提出了一种文本聚类方法、装置和计算设备，以力图解决或者至少解决上面存在的问题。

根据本发明的一个方面，提供一种文本聚类方法，适于在计算设备中执行，该方法包括步骤：获取多条文本数据构成第一文本库，并通过比较各文本的第一签名值来对第一文本库进行聚类，得到n个第一聚类分组；分别从各第一聚类分组中选取一个第一代表文本构成第二文本库，并通过计算各第一代表文本的相似度来对第二文本库进行聚类，得到m个第二聚类分组；对于每个第二聚类分组，将其中的各第一代表文本均替换为第一代表文本所属的第一聚类分组的文本，得到对应的m个第三聚类分组；以及分别计算各第三聚类分组内所有文本的最长公共子串，并根据该最长公共子串生成各第三聚类分组的文本表达模式。

可选地，在根据本发明的文本聚类方法中，通过比较各文本的第一签名值来对该第一文本库进行聚类的步骤包括：对各文本进行分词处理，生成各文本的第一签名值，并将第一签名值相同的多个文本聚类为一个分组。

可选地，在根据本发明的文本聚类方法中，通过比较各第一代表文本的相似度来对第二文本库进行聚类的步骤包括：对各第一代表文本进行分词处理，并生成各第一代表文本的第二签名值；两两计算任意两个第二签名值的相似性系数，并将相似性系数满足第一阈值的两个第一代表文本划分到同一个分组中。

可选地，在根据本发明的文本聚类方法中，第一签名值为simhash值，第二签名值为minhash值或者simhash值，对应的相似性系数为Jaccard系数或者海明距离。

可选地，在根据本发明的文本聚类方法中，在计算各第三聚类分组的最长公共子串之前，还包括对m个第三聚类分组进行更新的步骤：分别从各第三聚类分组中选取一个第二代表文本构成第三文本库；通过计算各第二代表文本的编辑距离来对第三文本库进行聚类，得到p个第四聚类分组；以及将每个第四聚类分组中的各第二代表文本均替换为第二代表文本所属的第三聚类分组的文本，从而得到p个更新后的第三聚类分组。

可选地，在根据本发明的文本聚类方法中，通过计算各第二代表文本的编辑距离来对第二文本库进行聚类的步骤包括：两两计算任意两个第二代表文本之间的编辑距离，并将编辑距离满足第二阈值的两个第二代表文本划分到同一个分组中。

可选地，在根据本发明的文本聚类方法中，第一代表文本和第二代表文本均为随机选取。