[发明专利]一种基于标题指纹与正文指纹实现相同新闻聚类的方法

摘要

本发明涉及一种基于标题指纹与正文指纹实现相同新闻聚类的方法，所述方法包括：（1）标题预处理；（2）标题指纹计算；（3）正文预处理；（4）计算正文中切词权重；（5）在指纹库中查找；（6）将新资讯信息存入指纹库；（7）更新指纹库处理。本发明的重复资讯识别，算法简明，效果显著。经测试，对于资讯搜索中常见的重复情况，如直接复制、标题调整、系列新闻、内容微调的识别率达99%以上。算法首先对核心词进行匹配，快速的排除了主题不相似的文章，大大提升了识别效率，在千万级数据中识别一次的时间低于1ms。由于只保存核心词及描述词的基本信息，节约了存储空间，存储千万级数据的历史信息所消耗的空间低于500MB。

主权项

一种基于标题指纹与正文指纹实现相同新闻聚类的方法，其特征在于，所述方法包括：（1）标题预处理；（2）标题指纹计算；（3）正文预处理；（4）计算正文中切词权重；（5）在指纹库中查找；（6）将新资讯信息存入指纹库；（7）更新指纹库处理。