[发明专利]一种针对海量相似短文本的聚类方法和系统

摘要

一种针对海量相似短文本的聚类方法和系统是属于信息技术科学领域内的一项针对重复短文本检测的研究。因为短文本有着它自身的特点，所以传统的重复文本分析方法应用到短文本上的计算结果无法令人满意。而本发明采用基于短文本内容主干的重复分析方法，并结合相关词群，除能检测出完全重复的文本外，还可以检测出相似性极高的文本，而且处理速度快，效率高，可以较好的处理海量数据。采用本发明的方法可以去除冗余短文本，能够大大降低系统处理规模，并且还可以在一定程度上发现热点短文本，辅助发现社会热点。

主权项

对海量相似短文本的基于内容主干的重复检测方法，包括对文本进行预处理，将完整的文本内容切分成带有词性的字或者单词，对文本提取主干，只提取文本中的动词、名词、数词，其它词性的单词丢弃不用，然后将语义相同的同义词、近义词替换为同一个词(语义归一化)，对文本进行相似性计算，经提取主干后，我们假设相同词数越多(单词顺序不变)的文本，其相似性越强，将相关文档归为一类，从而形成多个“相关文本”的类别。并选出词频(关键词重复率)最高的若干个关键词代表该类别。