[发明专利]一种基于多任务学习机制的自然语言关系抽取方法

说明书

本发明公开了一种基于多任务学习机制的自然语言关系抽取方法，包括如下步骤：利用多个辅助任务来引入不同任务间所互相隐含的信息来提升关系抽取的效果。引入知识蒸馏来增强辅助任务指导训练多任务模型的效果，为基于多任务学习的关系和抽取引入教师退火算法让多任务模型的效果能够超远作为指导任务的单任务模型，最终提升关系抽取的准确度。该方法首先在不同的辅助任务上进行训练得到用于指导训练的多任务模型，然后利用辅助任务学习到的模型和真实标签作为监督信息同时指导多任务模型的学习，最后在SemEval2010 task‑8数据集上进行了测评，该模型的表现优于单独使用改进过的BERT进行关系抽取的模型，也同样优于主流的基于深度学习关系抽取的模型。

技术领域

本发明涉及自然语言处理中关系抽取技术，尤其涉及一种基于多任务学习机制的自然语言关系抽取方法。

背景技术

随着大数据和人工智能时代的来临，互联网上各类信息以爆炸般的速度增长，如何从海量的数据中获取信息成为一个亟待解决的问题。信息抽取作为自然语言理解的一个重要分支，其主要目标是将嵌入在文本中的无结构信息通过自动提取进而转化为结构化数据，与其相关的技术研究逐渐兴起。关系抽取，作为信息抽取的一个重要的子任务，其主要目标是在给定一段文本的情况下，针对一个特定的实体对，抽取出一个实体关系三元组relation(e1,e2)。关系抽取作为自然语言理解领域的一项常见的基础任务，在各个方面都有着广泛的应用：例如创建新的结构化知识库并增强现有知识库；构建垂直领域的知识图谱；支持上层的高级应用如文本摘要、自动问答、机器翻译、语义网标注。

与传统的基于机器学习的方法相比，基于深度学习的方法在关系抽取任务上的表现更为优异，并且逐渐成为主流。目前关于实体关系抽取的研究主要集中在基于卷积神经网络和循环神经网络及其变体的方法上。基于卷积神经网络及其变体的方法能够有效并且自动的提取特征，但却无法准确地对时间序列问题进行刻画；基于循环神经网络及其变体的方法能够自动的捕获序列在时间上的依存关系，却无法有效地处理序列中的长距离依赖问题。此外这些基于深度神经网络的方法往往还需要依赖额外的高阶自然语言处理工具来获取词汇、句法和语义等信息，而这些额外的处理步骤会累计错误。这些问题都为给关系抽取任务效果进一步的提升造成了阻碍，所以目前亟需建立一种更为有效的关系抽取模型。

发明内容

本发明的目的是针对现有技术的不足而提出的一种基于多任务学习机制的自然语言关系抽取方法，该方法结合当前主流的关系抽取任务是基于单个任务模型的特点，提出了一种引入多任务学习和预训练语言表示机制的关系抽取方法。该模型基于预训练语言模型，利用辅助任务来帮助关系抽取模型来获取不同任务之间互相蕴含的知识，并提出使用知识蒸馏来帮助关系抽取任务能够更好的利用辅助任务学习到的表示空间，并使用教师退火算法让多任务模型效果更好，最终提升模型在关系抽取任务上的表现。通过与普通的基于BERT的关系抽取模型和基于命名实体识别和关系抽取联合学习的模型进行对比实验，在SemEval2010-task8数据集上证明了该模型对关系抽取任务的表现有较为明显的提升。

实现本发明目的的具体技术方案是：

一种基于多任务学习机制的自然语言关系抽取方法，该方法包括以下具体步骤：

步骤1：依据通用NLP模型基准，选取其中与关系抽取任务的训练数据类似的分类任务，即训练数据同时能够用于关系抽取任务训练的任务，作为训练多任务模型的辅助任务；

步骤2：将输入的句子或句子对经过WordPiece分词之后得到子词序列，将每个辅助任务的训练数据根据数据集大小按比例采样并混合之后送入预训练语言模型进行统一训练；

步骤3：使用预训练语言模型编码工具对输入数据进行编码表示；

步骤4：对关系抽取任务及辅助任务分别建立独立的单任务模型；

步骤5：利用建立的单任务模型，基于知识蒸馏进行多任务模型训练和预测