[发明专利]一种文本数据的聚类方法、装置和系统

权利要求书

1.一种文本数据的聚类方法，其特征在于，所述方法包括：

子节点接收主节点针对海量文本数据进行拆分得到的待聚类的文本子集合；

所述子节点将所述文本子集合中的每个文本分别与所述文本子集合中的其他文本进行文本相似度的比对，并且针对所述待聚类的文本子集合中的每个文本，所述子节点分别向所有其他子节点发送文本相似度的比对请求，使得其他每个子节点将所述比对请求中包含的比对文本分别与自身的文本子集合中的每个文本进行比对，以得到文本对的相似关系集合；

所述子节点将所述相似关系集合发送至所述主节点，以使得所述主节点根据所有子节点发送的所述相似关系集合对所述海量文本数据进行聚类，得到所述海量文本数据的聚类结果。

2.根据权利要求1所述的方法，其特征在于，所述每个子节点将所述比对请求中包含的比对文本分别与自身的文本子集合中的每个文本进行比对，包括：

所述每个子节点对所述比对文本进行处理，得到与所述比对文本对应的第一句子集合；

所述每个子节点对自身的文本子集合中的每个文本进行处理，得到与所述每个文本对应的第二句子集合；

所述每个子节点将所述第一句子集合中的每个句子分别所述第二句子集合中的每个句子进行比对，得到每对句子具有相同词语的个数；

所述每个子节点根据每对句子具有相同词语的个数确定得到所述比对文本与所述第二句子集合对应的文本具有相同词语的个数最多的结果；

所述每个子节点根据所述结果确定相同词语的个数在两个文本中所占的比例，从而得到两个文本的文本相似度。

3.根据权利要求2所述的方法，其特征在于，在得到两个文本的文本相似度之后，所述方法还包括：

所述每个子节点将所述两个文本的文本相似度与预设阈值进行比较，得到比较结果；

所述每个子节点在根据所述比较结果判断所述两个文本的文本相似度大于所述预设阈值时，向发送所述比对请求的子节点返回相似的文本对。

4.根据权利要求2所述的方法，其特征在于，所述每个子节点对所述比对文本进行处理，得到与所述比对文本对应的第一句子集合，包括：

所述每个子节点对所述比对文本进行分句，得到分句后的比对文本；

所述每个子节点对分句后的比对文本中的每个句子进行分词，得到所述比对文本对应的第一句子集合。

5.根据权利要求1-4中任意一项权利要求所述的方法，其特征在于，所述主节点根据所有子节点发送的所述相似关系集合对所述海量文本数据进行聚类，得到所述海量文本数据的聚类结果，包括：

所述主节点根据所有子节点发送的所述相似关系集合构建基于文本相似关系的拓扑图；

所述主节点对所述拓扑图进行连通图聚类，得到所述海量文本数据的聚类结果。

6.根据权利要求5所述的方法，其特征在于，所述主节点根据所有子节点发送的所述相似关系集合构建基于文本相似关系的拓扑图，包括：

所述主节点将每个所述相似关系集合中每个文本对的两个文本分别作为节点，并将所述两个文本的文本相似度作为连接两个节点的边的边长，构建基于文本相似关系的拓扑图。

7.根据权利要求5所述的方法，其特征在于，在得到所述海量文本数据的聚类结果之后，所述方法还包括：

所述主节点根据每个类簇对应的连通图的节点数量和边的数量计算得到每个类簇的聚合度；

当存在聚合度小于第一预设值的类簇时，所述主节点去除每个所述相似关系集合中文本相似度小于第二预设值的文本对，并根据去除后的每个相似关系集合对所述海量文本数据重新进行连通图聚类，得到所述海量文本数据的聚类结果。