[发明专利]流式数据事件文本专题及检测系统

权利要求书

1.一种流式数据事件文本专题及检测系统，包括：接收信息流的专题检测模块，以及顺次串联的专题追踪模块、事件识别模块和事件抽取模块，连接专题追踪模块的关联检测模块，与专题追踪模块和事件识别模块进行信息交换的文本摘要模块，其特征在于：专题检测模块在没有明确专题和事件背景信息作为参考的情况下，自主地分析报道论述的内容，裁决两篇报道或两个报道集合是否同属有一个专题或事件，设计社交媒体流式文本信息处理系统，构建专题及事件检测算法模型；在对所有专题事先毫不了解的情况下检测信息流和组织系统预先未知的专题及事件，采用爬虫技术从各大网络媒体、社交平台实时地爬取文本数据，并对爬取的数据进行数据清洗；利用社交媒体流式文本信息处理系统对清洗后的文本数据进行处理，区分文本数据所属专题和事件；专题追踪模块以专题为基本单元对文本进行组织，根据文本摘要模块提供的文本摘要信息给出专题摘要及关键字信息；关联检测模块检测各个方向的文本，对同属一个专题的文本信息，划分其事件归属，并抽取事件的关键字及结构化信息，利用社交媒体流式文本信息处理系统对清洗后的文本数据进行处理，区分文本数据所属专题和事件，设置确定长度的时间窗，对时间窗内的文本数据利用层次聚类法聚类，并且设置一个阈值来结束聚类，将检测到的专题聚类的结果送入专题追踪模块获取具有更小粒度的聚类结果，将聚类结果送入事件识别模块，事件识别模块根据专题追踪模块和文本摘要模块提供的专题或事件流式文本数据，采用层次聚类方式进行事件识别，对聚类时文本的相似度进行唯一的区别，以专题为基本单元对文本进行组织和文档级别的内容进行编码，并给出设计的专题摘要及事件抽取算法和专题摘要及关键字信息送至事件抽取模块，对同属一个专题的文本信息，划分其事件归属，并抽取事件的关键字及结构化信息，解析专题及事件的关键信息，基于TF-IWF的领域文档关键词快速提取算法和层次聚类方法与增量TF-IWF模型计算各维度权重并归一化处理，通过记忆机制进行图路径扩展，得到一个数目较多的专题集T。

2.如权利要求1所述的流式数据事件文本专题及检测系统，其特征在于：在专题检测阶段，事件识别模块将一个较高的阈值θ₁输入事件抽取模块，通过传统层次聚类方法与增量TF-IWF模型，根据词语w出现的次数、词语w在文本d中出现的次数tf(d，w)和语料库中出现的总的单词数目，用词语逆频率方式计算加权算法TF-IWF计算得到一个数目较多的专题集T。

3.如权利要求2所述的流式数据事件文本专题及检测系统，其特征在于：所述加权算法采用如下公式计算，

直至时刻t，

式中，wf_t(w)表示到t时刻为止的语料库中出现的总的单词数目。

4.如权利要求1所述的流式数据事件文本专题及检测系统，其特征在于：在专题追踪阶段，专题追踪模块增加一个抑制大的专题合并的部分，同时设置较小的阈值θ₂，对应的两个专题T₁和T₂个两个专题中的文本数n₁和n₂，计算取最大的相似度

其中，α为对余弦值的衰减底数，n₁和n₂分别为进行相似度比较的两个专题中的文本数。

5.如权利要求4所述的流式数据事件文本专题及检测系统，其特征在于：专题追踪模块取最大的相似度sim_i，j以及对应的两个专题T₁和T₂，进行相似度比较，针对两个专题中的文本数n₁、n₂和衰减底数α，对最大的相似度sim_i，j进行放大处理，计算出相似度使阈值保持在稳定的区间；若专题追踪模块得到的相似度大于阈值θ₂，则合并两个专题，形成新的专题T_k，新的专题T_k的向量表示为该专题所有文本向量的均值，若相似度小于阈值θ₂，则输出专题集。