[发明专利]大规模数据下的新闻事件自动挖掘系统及其方法

说明书

技术领域

 本发明涉及数据挖掘技术领域，尤其涉及大规模数据下的新闻事件自动挖掘系统及其方法。

背景技术

 随着互联网技术的蓬勃发展，互联网上的新闻报道也呈现爆发式的增长。如何在海量的新闻信息中快速挖掘出需要的信息是一件值得研究的问题。

现有的层次式聚类是对给定的数据集合进行层次式的合并（或分解）的处理过程，在数据处理的过程中将根据数据间的相似程度来决定彼此之间合并的顺序。层次式聚类法与其他聚类或者分类方法相比，优点是层次式聚类法并不需要预先知道数据将会被划分为类别的数目，更适合互联网上新闻事件数目无法确切统计这一特点。但是层次聚类由于其算法本身的特性决定了其计算的复杂度较高，不利于在海量数据集合上进行扩展。因此面对互联网海量的新闻报道，如何设计一种能够在海量数据集合下使用的新闻事件挖掘技术是很有意义的。

发明内容

 有鉴于此，本发明的主要目的在于提供一种大规模数据下的新闻事件自动挖掘系统及其方法，在新闻信息量较大且不断递增时，能够对海量的新闻报道内容进行自动挖掘，动态修正挖掘结果，并满足时效性和准确性的要求。

为达到上述目的，本发明的技术方案是这样实现的：

一种大规模数据下的新闻事件自动挖掘系统，主要包括接收模块、聚类处理模块、事件合并模块和缓存处理模块；其中：

所述接收模块，用于接收一个时间片段内推送到所述事件挖掘系统的新闻数据，并将上一个时间片段内积攒的新闻数据发送给聚类处理模块进行事件挖掘；

所述聚类处理模块，用于对接收到的新闻数据按照彼此间的标题或正文文本的相似程度进行层次式聚类处理，以挖掘出具有相同事件属性的若干个族，即新闻族；将所述新闻簇作为事件合并模块的输入，以便与历史事件进行比较；

所述事件合并模块，用于将经聚类处理形成的新事件与历史上形成的旧事件按照所述事件间的相似程度进行合并处理；以及

所述缓存处理模块，将新形成的事件与经过修改的历史事件发送到缓存模块作缓存处理。

其中：所述时间合并模块，还用于对经过修改的旧事件与其他事件进行合并处理。

一种大规模数据下的新闻事件自动挖掘方法，该方法包括：

A、接收一个时间片段内推送到事件自动挖掘系统的新闻数据，并将上一个时间片段内积攒的新闻数据发送给聚类处理模块进行事件挖掘处理；

B、利用聚类处理模块对接收的新闻数据按照彼此之间标题或正文文本的相似程度进行层次式的聚类处理，挖掘出具有相同事件属性的若干个簇，即新闻族；然后将新闻簇作为下一个处理阶段的事件合并模块的输入；

C、通过事件合并模块对经过聚类处理形成的新事件与历史旧事件按照事件间的相似程度进行合并处理；

D、将新形成的事件或经过修改的历史事件发送到缓存模块作缓存处理。

其中：所述步骤C进一步包括：对经过修改的旧事件与其他事件进行合并处理。

步骤B所述聚合的标准是按照新闻间标题以及正文的相似程度大小来进行判断的，而计算两条新闻之间的相似程度时，如果大于预设阈值则合并两篇新闻作为一个类别，即具有相同的事件属性，否则，不处理。

进一步包括：对于两个已经包含了多篇新闻的类别，按照UPGMA算法计算所述两个类别间的相似程度，大于预设阈值则认为其具有相同的事件属性，做合并处理，否则，不合并。

步骤C所述对新事件与历史旧事件进行合并处理，包括：

C1、将聚类处理后形成的新事件与历史旧事件按照规则进行合并处理，所述规则是：如果新事件与历史旧事件相似程度大于设定的阈值，则将新旧两个事件合并，否则不做任何处理；

C2、在旧事件中寻找可以合并处理的新闻事件进行合并处理。

步骤C1进一步包括：当一个新类别无法找到与其相似程度大于阈值的旧事件时，则将该类别作为新增事件添加到历史事件队列中。

所述缓存处理具体包括：定期淘汰过期事件。

本发明所提供的大规模数据下的新闻事件自动挖掘系统及其方法，具有以下优点：

本发明提出的在海量递增的新闻数据下能够快速准确地进行事件自动挖掘系统，运用该系统能够解决同类系统无法同时满足的及时性及准确性的需求。

附图说明

图1为本发明大规模数据下的新闻事件自动挖掘系统框架示意图。

具体实施方式

下面结合附图及本发明的实施例对本发明的自动挖掘系统及其方法作进一步详细的说明。