[发明专利]一种基于自然语言推理的关系抽取模型的生成方法

说明书

本发明公开的属于自动化识别技术领域，具体为一种基于自然语言推理的关系抽取模型的生成方法的生成方法，其包括：DescriptionLayer；EncoderLayer；InferenceLayer；ClassificationLayer。本发明在公开的数据集SemEval 2010Task‑8上与目前较为先进的四个模型进行对比试验：1)基于GCN的FAT‑RE模型，2)基于CNN和注意力机制的Att‑Pooling‑CNN模型，3)基于BERT的R‑BERT模型，4)基于BERT的KnowBERT模型，从而使该模型整合了知识库中的信息，且本模型的F1分数达到90.1％，高于其他四个模型，说明本模型通过构造关系描述和多损失函数叠加，有效地提升了模型的性能，向模型中注入了先验知识，并在推理的过程中。

技术领域

本发明涉及自动化识别技术领域，具体为一种基于自然语言推理的关系抽取模型的生成方法。

背景技术

中国科学院模式识别自动化研究所提出了PCNN模型，通过卷积神经网络和最大池化来抽取实体之间的关系，同时引入了基于多示例学习的远程监督，缓解了数据不足的问题。由于传统RNN并行性较差，谷歌提出了完全基于注意力机制的编码解码器Transformer，在加快运算速度的同时也提升了模型的精度。阿里巴巴提出了R-BERT模型，通过使用两个实体以及Bert特殊标记CLS所代表的词向量作为关系向量表示，取得了良好的效果。华为的REDN模型通过使用非对称核内积函数来计算两个实体之间的相关性，从而使用矩阵而非向量来表示实体之间的关系。

但是，目前主流的关系抽取方法存在以下问题：

1)将关系提取任务视为一个简单的分类问题，并在目标句子中进行。由于目标句子可能无法提供足够的证据和信息，因此它们的性能受到限制。

2)在向模型注入额外信息是，现有方法往往采取预训练的方式，或者通过自然语言处理工具来注入信息，这使得模型需要更多的训练时间以及额外的数据集，同时模型的性能还会依赖自然语言处理工具的性能。

提出了一个新的框架来处理关系抽取任务。当面临期末考试时，选择题总是比填空题更容易被接受。这主要归因于选择题中的选择可能编码着一些关键的信息和证据。与以往采用多重分类策略不同，本文将关系抽取视为一个选择题。为此，通过为每个关系创建描述来给模型提供选择，其中这些描述被视为假设。然后以给定的目标句和实体对为前提，将目标句与所有关系描述分别匹配，形成前提假设对列表。对于所有的前提假设对，模型将前提和假设之间的关系分为两类，即(蕴涵，不蕴涵)，从而推断是否可以从前提中归纳出假设。最后，通过选择一个可信度最高的假设，模型自然地确定了目标句所表达的关系。的框架很自然地处理了以前工作中存在的信息不足问题。通过为模型提供显式设计的关系描述来注入先验知识。同时的方法不需要额外的数据集来进行预训练。

发明内容

本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：

一种基于自然语言推理的关系抽取模型的生成方法，其包括：

1)描述层DescriptionLayer：该层模型结构的最底层，通过向输入中注入额外的知识来增强模型，每个关系都有一个模板描述，使用关系描述模板将一个目标句子映射到r个前提假设句子对，r为关系类型总数；其中原始目标句子被视为前提，而关系描述则被视为假设；

2)编码器层EncoderLayer：该层对应模型结构中Encoder and InferenceLayer的一部分，在描述层之后，在编码器层将前提假设句子对中的每个词转换为固定长度的向量，以获得每个前提假设句子对的向量表示，所有的r个前提假设对将被分别编码；