[发明专利]一种基于语义增强的多特征融合的实体关系联合抽取方法

说明书

本发明公开了一种基于语义增强的多特征融合的实体关系联合抽取方法，通过将实体关系联合抽取任务视为以关系作为条件通过主体映射客体的函数，采用先进行头实体识别，再在每一种关系下识别尾实体的抽取思路。采用先进行头实体信息识别，将经过RNN编码后的增强了序列依赖信息的特征利用指针网络识别头实体的开始和结束位置，并将头实体及其实体类型作为先验信息，将多特征与增强特征进行融合，获取增强语义表达能力的融合向量，减少模型对语义不相关实体的关注。本方法采用了注意力机制以使句子中的词更容易捕获到加入了头实体信息的全局特征，强化特征依赖，提高在复杂的重叠场景下抽取关系三元组性能。

技术领域

本发明属于自然语言处理信息抽取与深度学习领域，尤其涉及一种基于语义增强的多特征融合的实体关系联合抽取方法。

背景技术

随着计算机和互联网的快速发展，人类产生、创造的数据量呈爆炸式增长。如何对这些海量异构数据进行高效利用，是当前亟需解决的问题，也是信息抽取(InformationExtraction,IE)研究的重要内容之一。实体关系抽取(Entity-Relation Extraction,RE)是信息抽取领域的重要组成部分，目前已广泛应用于搜索引擎、智能推荐、机器翻译和问答服务等领域，其中包含两个子任务：实体识别和关系抽取。实体识别是信息抽取领域最基础的任务之一，旨在识别出文本中具有特定意义的词语，例如人名、地名、组织机构名等等。关系抽取任务是在命名实体识别任务的基础之上，抽取出实体之间存在的语义关系，并构建成关系三元组的形式。

国内外学者已经针对实体关系抽取任务进行了一些有意义的研究与探索。第一类是基于深度学习的管道式实体关系抽取方法：该类方法不需要人工抽取特征，可以通过神经网络自动捕捉输入文本的特征，然后用于实体关系抽取研究。但是管道式抽取方案其关系抽取的结果过度依赖于实体识别的结果，忽略了两个过程之间存在的关系，一定程度上影响了关系抽取的效果；同时，实体识别过程的错误也会传播到关系抽取过程中。第二类是基于深度学习的联合式实体关系抽取方法，联合关系抽取方法使用单个模型将命名实体识别和关系抽取两个过程结合在一起，以便在统一的模型中进行共同优化。虽然上述方法都取得了不错的效果，但是并不能完全解决重叠三元组问题，并且当句子中存在更为复杂的重叠情况时，这些方法仍然不能获得令人满意的结果。但是在近些年的研究中发现，现阶段的实体关系抽取方法中普遍存在以下问题：1)抽取模型语义表达能力差。现有的抽取模型大多使用BERT预训练模型获得编码向量，它虽然能为联合模型提供一种通用的包含了全文语境的词向量表示，但直接使用可能会忽视更细粒度的局部依赖信息，从而造成模型语义特征表达能力差的问题。2)语料中存在大量关系重叠现象。关系重叠是指一个实体参与到了多个关系三元组中，数据中有可能只有一个实体对及关系(Simple)，也有可能是一个实体同另一个实体之间存在着多种关系(EPO)，还有可能是一个实体与其他不同实体之间存在着多种关系(SEO)，因此增加了语料数据的复杂程度，致使现有的分类器无法有效的同时抽取出多个三元组。

发明内容

本发明的目的在于提出一种基于语义增强的多特征融合的实体关系联合抽取模型(MFF-WSE)来构建实体关系抽取任务以解决现阶段普遍存在的模型语义表达能力差和语料中存在大量关系重叠现象的问题。通过将实体关系联合抽取任务视为以关系作为条件通过主体映射客体的函数f_r(s)→o，采用先进行头实体识别，再在每一种关系下识别尾实体的抽取思路，避免了主体、客体只能映射为单一关系的局限性，可以有效解决实体重叠问题。所提出方法采用先进行头实体信息识别，将经过RNN编码后的增强了序列依赖信息的特征利用指针网络识别头实体的开始和结束位置，并将头实体及其实体类型作为先验信息，将多特征与增强特征进行融合，获取增强语义表达能力的融合向量，减少模型对语义不相关实体的关注。不同于传统融合方法中的简单的仅进行相加或拼接方式，本方法还采用了注意力机制以使句子中的词更容易捕获到加入了头实体信息的全局特征，强化特征依赖，从而提高模型在复杂的重叠场景下抽取关系三元组的性能。

因此，所提出方法的模型主要步骤如下：