[发明专利]一种基于文体和词表的突发事件信息抽取方法及系统

说明书

技术领域

本发明属于信息处理技术领域，尤其涉及一种基于文体和词表的突发事件信息抽取方法及系统。

背景技术

近年来在气候变暖、经济全球化、国际政治风云多变的影响下，全球范围内各类突发事件频发，给社会和谐稳定、人民幸福生活带来了极大的危害，应急管理已引起了各级地方政府的高度重视和大力支持，与此同时，在网络高度普及的今天，获取突发事件信息的渠道也从单一的政府公文扩展到各类新闻网站等网络渠道，本发明以Web新闻为研究对象，在深入分析Web新闻特性的基础上，力图借助信息抽取技术，合理有效地结构化新闻内容以满足应急管理的需求，为社会和谐、经济发展保驾护航。

信息抽取(information extraction:IE)是指把文本中包含的无结构无组织的信息进行一系列处理，转化成统一格式的结构化数据保存起来。输入信息抽取系统的是各种非结构化的文档，输出的是结构化的信息点，信息点从各类的文档中被提取出来，按照一定格式储存到数据库中。本发明研究目标是从网络自由化文本得到结构化数据。

信息抽取的方法大致可分为基于统计的方法和基于规则的方法，基于统计的方法以强大的统计学原理为基础，具有较高的可移植性，但准确性不高，基于规则的方法以领域知识为基础，具有较高的准确性，但跨领域移植性几乎为零。

近年来，信息抽取已经在金融、海事、物流等许多领域得到了成功应用。赵小明等提出一种基于统计的金融领域多元关系信息抽取算法，研究收购类事件描述句及事件角色，分别设计了单分类器的算法和多分类器的算法，结果表明多分类器算法比单分类器识别算法F-Measure提高了1.9％。余晨等提出一种基于规则的海事自由文本信息抽取方法，通过定义规则抽取海事新闻中的时间、地点、船舶名和事故类型，实验结果表明，准确率均在94.52％以上，但此方法仅限于单一的海事领域网站。原欢采用基于规则的信息抽取方法，提出了基于GATE的货物动态邮件信息抽取方法，应用货物动态邮件验证了方法的科学性和有效性。基于Web的信息抽取近年已取得一些研究，孙承杰等利用中文网页的特性提出了一种基于统计的信息抽取方法，但是该方法仅适用于使用<table>标签来布局的网页，实现简单，通用性好，但是对于文本内容较短的网页，抽取效果不好。吴平博等人在建立了统一事件框架的基础上，利用句型模板抽取了新闻事件的基础信息，并且通过实验表明，方法的召回率以及精度分别达到了60.82％和94.84％，但仅限于火灾、矿难和空难这三类新闻事件。杨尔弘提出一种自动获取事件信息结构的模型，该模型是在文本词语分析的基础上，通过对句子聚类的方法来进行抽取突发事件的信息，并进一步采用词语串搭配信息的方法来抽取突发事件某方面的具体信息，但仅限于HowNet知识资源不适用于网络自由文本，同时采用词语串替代表达意义，还远不能满足提取的任务要求。

发明内容

为了解决上述技术问题，本发明提出了一种基于文体和词表的突发事件信息抽取方法，针对现有信息抽取方法提出相应改进和整合，从而提出准确率高的信息抽取方法。

本发明所采用的技术方案是：一种基于文体和词表的突发事件信息抽取方法，其特征在于，包括以下步骤：

步骤1：获取新闻网站内容作为初始新闻语料库；

步骤2：事件识别与分类；

对初始新闻语料库进行预处理，判断新闻报道是否为突发事件，并在此基础上对突发事件分类；

步骤3：信息抽取；

本发明的系统所采用的技术方案是：一种基于文体和词表的突发事件信息抽取系统，其特征在于：包括信息获取模块、事件识别与分类模块、信息抽取模块；

所述信息获取模块，用于获取新闻网站内容作为初始新闻语料库；

所述事件识别与分类模块，用于对初始新闻语料库进行预处理，判断新闻报道是否为突发事件，并在此基础上对突发事件分类；

所述信息抽取模块，用于完成突发事件基本属性的抽取，实现突发事件信息结构化。

本方法主要有以下优点：非监督地结构化突发事件信息，是高效开展应急管理的基础，一方面是构建突发事件案例的基础工作，另一方面也是应急决策中案例推理的基础工作；此外所提出的基于文体和词表的信息抽取方法同时也融合了基于规则和统计方法的优点，对于结构化Web信息进行了有效的探索。采用这种基于文体和词表方法在爬取的Web新闻语料库和公开语料库进行突发事件的属性进行抽取时，平均准确率分别为87.89％、91.29％，平均召回率分别为81.76％、87.91％，能满足应急管理需求。

附图说明