[发明专利]一种文本聚类方法、装置和计算设备

权利要求书

1.一种文本聚类方法，适于在计算设备中执行，所述方法包括步骤：

获取多条文本数据构成第一文本库，对各文本进行分词处理，生成各文本的第一签名值，并将第一签名值相同的多个文本聚类为一个分组，得到n个第一聚类分组；

分别从各第一聚类分组中选取一个第一代表文本构成第二文本库，对各第一代表文本进行分词处理，生成各第一代表文本的第二签名值，两两计算任意两个第二签名值的相似性系数，并将相似性系数满足第一阈值的两个第一代表文本划分到同一个分组中，得到m个第二聚类分组；

对于每个第二聚类分组，将其中的各第一代表文本均替换为第一代表文本所属的第一聚类分组的文本，得到对应的m个第三聚类分组；以及

分别计算各第三聚类分组内所有文本的最长公共子串，并根据所述最长公共子串生成各第三聚类分组的文本表达模式。

2.如权利要求1所述的方法，其中，所述第一签名值为simhash值，所述第二签名值为minhash值或者simhash值，对应的相似性系数为Jaccard系数或者海明距离。

3.如权利要求1所述的方法，其中，在计算各第三聚类分组的最长公共子串之前，还包括对m个第三聚类分组进行更新的步骤：

分别从各第三聚类分组中选取一个第二代表文本构成第三文本库；

通过计算各第二代表文本的编辑距离来对所述第三文本库进行聚类，得到p个第四聚类分组；以及

对于每个第四聚类分组，将其中的各第二代表文本均替换为第二代表文本所属的第三聚类分组的文本，从而得到p个更新后的第三聚类分组。

4.如权利要求3所述的方法，其中，所述通过计算各第二代表文本的编辑距离来对所述第三文本库进行聚类的步骤包括：

两两计算任意两个第二代表文本之间的编辑距离，并将编辑距离满足第二阈值的两个第二代表文本划分到同一个分组中。

5.如权利要求3所述的方法，其中，所述第一代表文本和第二代表文本均为随机选取。

6.如权利要求1-5中任一项所述的方法，其中，所述根据该最长公共子串生成各第三聚类分组的文本表达模式的步骤包括：

对于每个第三聚类分组，保留该分组中所有文本的最长公共子串，并将两个最长公共子串之间的字符串用特殊符号代替。

7.如权利要求1-5中任一项所述的方法，还包括步骤：

分别统计并标记每个第一聚类分组和第三聚类分组所包含的文本条数。

8.一种文本聚类装置，适于驻留在计算设备中，所述装置包括：

第一聚类模块，适于获取多条文本数据构成第一文本库，对各文本进行分词处理，生成各文本的第一签名值，并将第一签名值相同的多个文本聚类为一个分组，得到n个第一聚类分组；

第二聚类模块，适于分别从各第一聚类分组中选取一个第一代表文本构成第二文本库，对各第一代表文本进行分词处理，生成各第一代表文本的第二签名值，两两计算任意两个第二签名值的相似性系数，并将相似性系数满足第一阈值的两个第一代表文本划分到同一个分组中，得到m个第二聚类分组；

聚类更新模块，适于将每个第二聚类分组的各第一代表文本均替换为第一代表文本所属的第一聚类分组的文本，得到对应的m个第三聚类分组；以及

模板提取模块，适于分别计算各第三聚类分组内所有文本的最长公共子串，并根据所述最长公共子串生成各第三聚类分组的文本表达模式。

9.如权利要求8所述的装置，其中，所述聚类更新模块还适于：

分别从各第三聚类分组中选取一个第二代表文本构成第三文本库；

通过计算各第二代表文本的编辑距离来对所述第三文本库进行聚类，得到p个第四聚类分组；以及

对于每个第四聚类分组，将其中的各第二代表文本均替换为第二代表文本所属的第三聚类分组的文本，从而得到p个更新后的第三聚类分组。