[发明专利]一种面向微博的突发事件触发词识别方法

说明书

本发明提出一种面向微博的突发事件触发词识别方法，将待分析的微博数据构成预料库的预料，其包括如下步骤：1)对突发事件语料库进行原始触发词统计，记录统计特征；2)对所述语料进行分词、分句等数据预处理，对所述分句后的语料数据按照分句进行依存句法分析，整理凝练出词对间依存关系，建立模式匹配规则；3)对所述预处理后的文本数据逐一进行模式规则匹配和潜在语义分析，进一步抽取分句语义信息，选取同时满足二者条件的词作为候选触发词，得到候选触发词集；4)计算所述候选触发词集与基于扩展触发词表的触发词识别出触发词进行相似度分析，将满足相似度要求的触发词确定为微博突发事件触发词。本发明避免了传统模式识别中效率偏低的缺点，同时遵循了机器学习中模型训练快速简单的优点。

技术领域

本发明涉及一种自然语言的识别方法，尤其涉及一种面向微博的突发事件触发词识别方法。

背景技术

当前，我国正处于经济快速发展期，各类突发事件时有发生，这些突发事件具有很强的新闻性和敏感性。对突发事件触发词进行抽取，旨在为进一步分析事件发展趋势，研究事件舆情动态提供技术支撑。

目前突发事件触发词识别方法，已经取得了很多成果，其研究大致分成如下两大类：基于模式匹配的方法和基于机器学习的方法。

传统基于模式匹配触发词识别方法是以人工构建模式匹配规则为基础，对事件进行规则抽取，在文本数据串中寻求一个模式串的匹配结果，是数据检索的核心。李培峰等采用基于核心论元和辅助论元的规则构建方法进行了触发词的识别实验；孟环建等采用基于依存句法的规则匹配方法进行了事件识别实验。基于模式匹配的方法触发词识别中人工工作量大、效率和识别率偏低，难以满足实践工作需要。

基于机器学习的方法通常将词向量作为输入特征进行模型训练，并进行触发词的识别，模型训练中又有单一模型和融合模型识别。

(1)基于单一模型的方法中，王红斌等采用神经网络作为分类器，将词向量作为神经网络的输入对事件句的语义进行分类，并在中文突发事件语料库(Chinese emergencycorpus，CEC)语料库进行实验，取得较好结果；YuboChen等使用动态多池卷积神经网络对句子中的每个单词进行分类从而识别触发词，并在ACE(Automatic content Extraction)语料库中进行了实验，实验结果较好。基于单一模型的方法中，虽然事件触发词识别模型训练快捷，识别率较传统有所提高，但是建立准确的模型需要大量进行实验和学习，学习周期长，实验效果并不是很理想。同时，该方法更多的关注于词语本身，而忽略整篇文章的整体语义信息与篇章结构信息。

(2)基于融合模型的方法中，苏晓丹等采用了一种将规则与二值分类相结合的混合模型方法，并在人民日报的1998年全语料中随机抽取500篇文本进行实验；陈亚东等将高置信度词典的特征分别加入到最大熵和条件随机场模型当中，融合两个模型进行触发词的识别，并在KBP2015英文语料库中进行实验，实验结果相比于ME最大熵模型识别效果较好。基于融合模型的方法中，触发词识别模型训练高效，同时避免了大量人工工作，提高了触发词识别效率。

为弥补传统基于模式匹配触发词识别中效率低和基于单一模型识别方法中识别率低等不足，本发明提出了一种新的基于融合模型的面向微博的突发事件触发词识别方法。

发明内容

本方法避免了传统模式识别中效率偏低的缺点，同时遵循了机器学习中模型训练快速简单的优点。两者兼顾，取长补短，提出一种基于P-Multi模型的微博触发词识别方法，将待分析的微博数据构成预料库的预料，其特征在于所述方法包括如下步骤：

1)对突发事件语料库进行原始触发词统计，记录统计特征；

2)对所述语料进行分词、分句等数据预处理，对所述分句后的语料数据按照分句进行依存句法分析，整理凝练出词对间依存关系，建立模式匹配规则；