[发明专利]一种基于机器阅读理解模型的事件抽取方法

说明书

本发明公开了一种基于机器阅读理解模型的事件抽取方法。该方法将事件抽取的两个子任务：事件检测和事件元素提取都建模成机器阅读理解任务，并采用多轮问答的方式来抽取出事件的完整信息。本发明通过使用BERT预训练模型来构建机器阅读理解框架。为了使模型能学习到句子中的实体信息，在输入句子中对句子中的实体进行显式地标记。此外还构建了历史会话信息编码模块，并采用注意力机制从历史会话中捕获重要信息以辅助当前轮次的问答。相比于现有方法，本发明方法能更好的利用先验知识来辅助进行事件抽取，在自动文摘、自动问答以及事理图谱构建等方面具有广阔应用前景。

技术领域

本发明设计了一种基于机器阅读理解模型的事件抽取方法，属于自然语言处理技术领域。

背景技术

事件抽取是信息抽取一个重要研究方向，在自动文摘、自动问答以及信息检索等方面具有重要应用价值，同时也是构建事理图谱的关键技术。事件抽取是从给定的非结构化文本中抽取出事件结构化描述信息的过程，其通常分为事件检测和事件元素抽取两个子任务。其中，事件检测是指准确地检测出事件的触发词并分类到正确的事件类型。而事件元素提取是指准确地提取出事件的要素，并分配恰当的角色。

早期的工作中，事件抽取通常都被当作序列标注或者分类任务，其核心在于获得一个句子较好的语义特征表示。传统方法主要基于特征工程的方式获得句子的特征表示，依赖研究人员根据专业知识手工设计不同层次的特征。这类方法的性能受特征影响较严重，且手工设计的特征在不同场景中的迁移性较差。近年来，基于神经网络的方法被广泛应用于事件抽取。相比于基于特征工程的方法，神经网络方法采用逐层抽象表示学习的方式来获得句子的语义特征，其不依赖于特定的资源，并且能更好地保留句子的语义信息。因此，神经网络方法有效地推动了事件抽取的进展。然而，采用分类或者序列标注的方式来进行事件抽取时，需要有大量带标签的数据来训练模型，并且训练好的模型也只能用于抽取已知类型的事件。而事实上，由于事件的复杂性，进行事件标注是非常昂贵的，因此现有事件抽取数据集中所包含的实例数量以及所涵盖的事件类别都较为有限。因此，如何在低资源情景下训练一个具有迁移能力的事件抽取模型成了研究者的关注热点。