[发明专利]一种基于强化学习的实体和关系联合抽取方法

说明书

本发明公开了一种联合信息抽取方法。该方法实现从输入文本中联合抽取出实体和关系信息，由联合抽取模块和强化学习模块组成。联合抽取模块采用端到端设计，包含词嵌层、编码层、实体识别层和联合信息抽取层。其中词嵌层采用Glove预训练词嵌库和基于字符粒度的词嵌表示相结合的方式。编码层使用双向长短记忆网络对输入文本进行编码。实体识别层和联合信息抽取层使用单向长短记忆网络进行解码。强化学习模块用于去除数据集中的噪声，其策略网络由卷积神经网络构成。策略网络包含预训练和再训练两个过程，在预训练中，使用预训练数据集对其进行监督训练。在再训练过程中，获取联合抽取网络的奖励来对策略网络进行更新，是一个非监督学习过程。

技术领域

本发明设计了一种基于强化学习的实体和关系联合抽取方法，属于自然语言处理技术领域。

背景技术

在自然语言处理任务中，实体识别和关系抽取是构建知识图谱的关键技术，也是语义分析、智能问答和自动摘要等自然语言处理应用的重要组成部分。该任务的核心是抽取给定文本的实体及其两个实体之间的语义关系。随着人工智能及知识图谱技术的发展，该领域目前受到了越来越多学者的关注。

传统方法通常将实体识别和关系抽取任务视为两个独立任务，即命名实体识别(Named Entity Recognition,NER)和关系分类(Relation Classification,RC)。这些系统在设计和实现上较为简单，但是它们忽略了这两个子任务之间的相关性。实际上，实体和关系抽取过程中往往要结合输入文本上下文之间的关联关系进行抽取，因此这类方法准确率较低。此外这些方法很容易受到传播误差的影响，当实体识别任务出错时，会影响后面关系分类的结果准确率。联合学习模型是解决这一问题的有效方法，它将NER和RC作为一个协同任务，同时从文本中提取实体和关系信息。联合学习模型由于能够有效地整合实体和关系的信息，因此在这一任务中取得了较好的效果，这在许多已有的研究中已经得到证明(Zheng S,Hao Y,Lu D,Bao H,Xu J,Hao H,et al.Joint entity and relationextraction based on a hybrid neural network.Neurocomputing.2017；257:59-66；Katiyar A,Cardie C,editors.Going out on a limb:Joint Extraction of EntityMentions and Relations without Dependency Trees2017:Association forComputational Linguistics；Miwa M,Bansal M,editors.End-to-End RelationExtraction using LSTMs on Sequences and Tree Structures2016:Association forComputational Linguistics)。然而，现有的联合方法大多是基于传统特征提取的方法，这些方法严重依赖于手工设计的特征或其他自然语言处理(Natural Language Processing,NLP)工具包提供的特征。近年来，研究人员开始将基于神经网络的方法应用于端到端实体和关系提取，这些方法大部分是通过端到端的神经网络来进行联合信息抽取。由于基于神经网络的方法不依赖于外部特征，其模型的鲁棒性和泛化能力更强。但目前大多数联合学习模型是基于参数共享的方式。这些系统在上游的编码阶段使用相同的神经网络来提取输入句子的语义信息，但在下游需要两个不同的网络分别提取实体和关系。