[发明专利]基于海量新闻数据的快速热点检测方法及系统

说明书

本发明涉及一种基于海量新闻数据的快速热点检测方法及系统，所述快速热点检测方法包括：对多个待处理新闻文本进行链式聚类，得到粗聚类集合；基于快速搜索和寻找密度峰值方法，对所述粗聚类集合进行搜索，得到细聚类集合；提取所述细聚类集合中的代表性短语，所述代表性短语为热点词语。本发明可直接对多个待处理新闻文本进行链式聚类，得到粗聚类集合；进一步基于快速搜索和寻找密度峰值方法，进行聚类，从而得到细聚类集合，并从中提取代表性短语，从而可快速捕捉到新闻文本中的热点词语，可提高计算效率和准确性。

技术领域

本发明涉及自然语言处理和数据挖掘领域，具体涉及一种基于海量新闻数据的快速热点检测方法及系统。

背景技术

随着互联网的迅猛发展与广泛普及，现如今互联网的新闻报道已成为人们获取信息的主要手段。许多商业网站都会第一时间为用户收集并提供丰富的新闻报道。然而每天发布的新闻数量非常庞大，信息量呈指数增长，针对同一话题也有很多类似的报导，而用户的精力十分有限，不可能通过阅读所有的新闻获取需要的信息。因此，如何提高信息获取效率，快速准确的获取新闻关键信息，筛选掉冗杂重复信息，是一个亟待解决的问题。

在检测新闻热点话题，需要从新闻报道中获取代表性短语。然而直接基于海量新闻数据提取代表性短语，计算复杂度极高。此外，互联网上的数据存在大量重复的内容，无论对于搜索引擎的网页，还是新闻门户网站、社交媒体等，都需要对文本进行去重和过滤。

针对上述问题，对于新闻热点检测，需要把海量新闻数据进行聚类，把同类型的新闻数据汇聚到一起，再进行新闻热点的代表性短语提取。热点检测算法中重要的一步就是文本聚类。

传统基于文本相似性的计算方法主要利用空间向量模型，计算分词后的文本的特征向量的相似性。这类方法能够保证一定的性能需求，但是无法针对海量的文本进行两两的相似性判断，存在明显弊端：一是码本规模巨大，捕捉信息效率低；二是对内容变异不敏感，导致遗漏相似样本。

发明内容

为了解决现有技术中的上述问题，即为了解决捕捉信息效率低的问题，本发明提供一种基于海量新闻数据的快速热点检测方法及系统。

为解决上述技术问题，本发明提供了如下方案：

一种基于海量新闻数据的快速热点检测方法，所述快速热点检测方法包括：

对多个待处理新闻文本进行链式聚类，得到粗聚类集合；

基于快速搜索和寻找密度峰值方法，对所述粗聚类集合进行搜索，得到细聚类集合；

提取所述细聚类集合中的代表性短语，所述代表性短语为热点词语。

可选的，所述对多个待处理新闻文本进行链式聚类，得到粗聚类集合，具体包括：

抽取每个待处理新闻文本中的关键词及所述关键词对应的权重，每个关键词及对应的权重为一对词组，多对词组形成对应该待处理新闻文本的文本特征向量集feature_weight_pairs；其中，feature_weight_pairs＝[fw1，fw2，fw3，...，fwn]，fwn＝(feature_n,weight_n)，feature_n表示第n个关键词，weight_n表示关键词feature_n对应的权重；

采用哈希算法对每一文本特征向量集中的词组进行映射，得到对应待处理新闻文本的哈希特征向量集hash_weight_pairs，其中，hash_weight_pairs＝[hw1,hw2,...,hwn]，hwn＝(hash(feature_n),weight_n)，hash(feature_n)表示关键词feature_n的映射哈希值，且hash(feature_n)的位数为count_bits_n；

根据所述哈希特征向量集hash_weight_pairs中的各哈希值，生成表征内容指纹的二进制字符串；