[发明专利]事件发现方法和装置

说明书

本发明实施例提供事件发现方法和装置。其中，方法包括：根据全部词类，获取当前时间段的每一新闻文档的表示向量；根据聚类算法，对当前时间段的新闻文档的表示向量进行聚类，将属于同一聚类的表示向量所对应的新闻文档构成报道同一事件的新闻文档集合；对于每一事件，若根据该事件与全部已确定的事件之间的第一相似度，获知该事件与任一已确定的事件相同，则将报道该事件的新闻文档集合，与报道该已确定的事件的新闻文档集合进行合并。装置包括：文档表示模块、事件获取模块和事件合并模块。本发明实施例提供的事件发现方法和装置，有效降低了文档表示的维度，并缓解了语义稀疏问题，能提高事件发现的效率和准确性。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及事件发现方法和装置。

背景技术

事件发现旨在从新闻数据流中发现属于同一事件的新闻报道，并将新闻根据所报道事件进行组织。随着网络新闻爆炸式增长，事件发现变得非常重要，能够提高用户新闻阅读效率，方便用户阅读感兴趣的事件新闻。

目前已经有许多关于事件发现的工作，其中常用的是构建一个在线识别系统来识别新闻报道中出现的新事件，将新闻数据流中的新闻文档和已知的事件进行相似度计算，通过比较相似度与设定的相似度阈值来判断该新闻是否为新的事件。目前，事件发现的相关研究基本都以此方法为依据。

目前，Term Frequency–Inverse Document Frequency(简称TF-IDF)仍然是主要的文本表示方式。现有技术以TF-IDF为基础进行改进，利用命名实体信息(人物、地点、组织机构等)改进文档的表示。部分现有技术利用命名实体信息，将文档表示成三种空间向量模型：包含全部信息的特征向量、只包含命名实体的特征向量和不包含命名实体的特征向量。

传统的TF-IDF文档表示及其改进，文档表示向量基于词，维度高，向量的维度可以达到几万甚至几十万维，且语义稀疏，导致事件发现的效率和准确率都较低，不适用于大规模在线新闻事件发现。

发明内容

针对现有技术存在的问题，本发明实施例提供事件发现方法和装置。

本发明实施例提供一种事件发现方法，包括：

S1、根据全部词类，获取当前时间段的每一新闻文档的表示向量；

S2、根据聚类算法，对当前时间段的新闻文档的表示向量进行聚类，将属于同一聚类的表示向量所对应的新闻文档构成报道同一事件的新闻文档集合；

S3、对于每一所述事件，若根据该事件与全部已确定的事件之间的第一相似度，获知该事件与任一所述已确定的事件相同，则将报道该事件的新闻文档集合，与报道该已确定的事件的新闻文档集合进行合并。

本发明实施例提供一种事件发现装置，包括：

事件获取模块，用于根据聚类算法，对当前时间段的新闻文档的表示向量进行聚类，将属于同一聚类的表示向量所对应的新闻文档构成报道同一事件的新闻文档集合；

事件合并模块，用于对于每一所述事件，若根据该事件与全部已确定的事件之间的第一相似度，获知该事件与任一所述已确定的事件相同，则将报道该事件的新闻文档集合，与报道该已确定的事件的新闻文档集合进行合并。

本发明实施例提供的事件发现方法和装置，基于词类获得新闻文档的表示向量，有效降低了文档表示的维度，并缓解了语义稀疏问题，降低了事件发现的计算量，减少事件发现的耗时，能提高事件发现的效率和准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。