[发明专利]大规模数据下的新闻事件自动挖掘系统及其方法

权利要求书

1.一种大规模数据下的新闻事件自动挖掘系统，其特征在于，主要包括接收模块、聚类处理模块、事件合并模块和缓存处理模块；其中：

所述接收模块，用于接收一个时间片段内推送到所述事件挖掘系统的新闻数据，并将上一个时间片段内积攒的新闻数据发送给聚类处理模块进行事件挖掘；

所述聚类处理模块，用于对接收到的新闻数据按照彼此间的标题或正文文本的相似程度进行层次式聚类处理，以挖掘出具有相同事件属性的若干个族，即新闻族；将所述新闻簇作为事件合并模块的输入，以便与历史事件进行比较；

所述事件合并模块，用于将经聚类处理形成的新事件与历史上形成的旧事件按照所述事件间的相似程度进行合并处理；以及

所述缓存处理模块，将新形成的事件与经过修改的历史事件发送到缓存模块作缓存处理。

2.根据权利要求1所述大规模数据下的新闻事件自动挖掘系统，其特征在于，所述时间合并模块，还用于对经过修改的旧事件与其他事件进行合并处理。

3.一种大规模数据下的新闻事件自动挖掘方法，其特征在于，该方法包括：

A、接收一个时间片段内推送到事件自动挖掘系统的新闻数据，并将上一个时间片段内积攒的新闻数据发送给聚类处理模块进行事件挖掘处理；

B、利用聚类处理模块对接收的新闻数据按照彼此之间标题或正文文本的相似程度进行层次式的聚类处理，挖掘出具有相同事件属性的若干个簇，即新闻族；然后将新闻簇作为下一个处理阶段的事件合并模块的输入；

C、通过事件合并模块对经过聚类处理形成的新事件与历史旧事件按照事件间的相似程度进行合并处理；

D、将新形成的事件或经过修改的历史事件发送到缓存模块作缓存处理。

4.根据权利要求3所述大规模数据下的新闻事件自动挖掘方法，其特征在于，所述步骤C进一步包括：对经过修改的旧事件与其他事件进行合并处理。

5.根据权利要求3所述大规模数据下的新闻事件自动挖掘方法，其特征在于，步骤B所述聚合的标准是按照新闻间标题以及正文的相似程度大小来进行判断的，而计算两条新闻之间的相似程度时，如果大于预设阈值则合并两篇新闻作为一个类别，即具有相同的事件属性，否则，不处理。

6.根据权利要求5所述大规模数据下的新闻事件自动挖掘方法，其特征在于，进一步包括：对于两个已经包含了多篇新闻的类别，按照UPGMA算法计算所述两个类别间的相似程度，大于预设阈值则认为其具有相同的事件属性，做合并处理，否则，不合并。

7.根据权利要求3所述大规模数据下的新闻事件自动挖掘方法，其特征在于，步骤C所述对新事件与历史旧事件进行合并处理，包括：

C1、将聚类处理后形成的新事件与历史旧事件按照规则进行合并处理，所述规则是：如果新事件与历史旧事件相似程度大于设定的阈值，则将新旧两个事件合并，否则不做任何处理；

C2、在旧事件中寻找可以合并处理的新闻事件进行合并处理。

8.根据权利要求7所述大规模数据下的新闻事件自动挖掘方法，其特征在于，步骤C1进一步包括：当一个新类别无法找到与其相似程度大于阈值的旧事件时，则将该类别作为新增事件添加到历史事件队列中。

9.根据权利要求3所述大规模数据下的新闻事件自动挖掘方法，其特征在于，所述缓存处理具体包括：定期淘汰过期事件。