[发明专利]大规模数据下的新闻事件自动挖掘系统及其方法

摘要

本发明公开了一种大规模数据下的新闻事件自动挖掘系统及其方法，包括接收模块，接收一个时间片段内推送到所述事件挖掘系统的新闻数据，并将上一时间片段内积攒的新闻数据发送给聚类处理模块进行事件挖掘；聚类处理模块，对接收到的新闻数据按照彼此间的标题或正文文本的相似程度进行层次式聚类处理，以挖掘出具有相同事件属性的新闻族；事件合并模块，将经聚类处理形成的新事件与历史上形成的旧事件按照所述事件间的相似程度进行合并处理；缓存处理模块，将新形成的事件与经过修改的历史事件发送到缓存模块作缓存处理。采用本发明，能够对海量新闻数据进行自动挖掘，并满足时效性和准确性要求。

主权项

一种大规模数据下的新闻事件自动挖掘系统，其特征在于，主要包括接收模块、聚类处理模块、事件合并模块和缓存处理模块；其中：所述接收模块，用于接收一个时间片段内推送到所述事件挖掘系统的新闻数据，并将上一个时间片段内积攒的新闻数据发送给聚类处理模块进行事件挖掘；所述聚类处理模块，用于对接收到的新闻数据按照彼此间的标题或正文文本的相似程度进行层次式聚类处理，以挖掘出具有相同事件属性的若干个族，即新闻族；将所述新闻簇作为事件合并模块的输入，以便与历史事件进行比较；所述事件合并模块，用于将经聚类处理形成的新事件与历史上形成的旧事件按照所述事件间的相似程度进行合并处理；以及所述缓存处理模块，将新形成的事件与经过修改的历史事件发送到缓存模块作缓存处理。