[发明专利]一种端到端的实体链接模型训练方法、实体链接方法及装置

说明书

本发明提供一种端到端的实体链接模型训练方法、实体链接方法及装置，构建包含第一BERT模型、第二BERT模型和Global Pointer层的初始实体链接模型，基于第一BERT模型和Global Pointer层进行指称识别，基于第一BERT模型和第二BERT模型执行实体消歧。在模型的训练过程中，将指称识别和实体消歧两部分的损失函数进行联合，同时对初始实体链接模型用于执行指称识别和实体消歧的两部分参数进行反向传播调参，有效传递调节两部分误差，使其相互依赖，提升整体效果。在实体消歧的过程中，引入预设知识库作为外部知识，能够极大提升消歧效果。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种端到端的实体链接模型训练方法、 实体链接方法及装置。

背景技术

由于自然语言表达的多样性，导致存在一词多义和多词同义的问题，实体链接技术正 是用于解决信息歧义问题的一种有效方法。目前实体链接的方法主要有两种：一种是实体 识别和实体消歧的两阶段方法进行实体链接。二是使用深度神经网络进行端到端的实体链 接。第一种技术将实体链接分为两个独立的阶段，第一阶段的结果作为第二阶段的输入； 第二种技术应用双向LSTM网络(双向长短时记忆网络)得到所有可能的指称，然后和所有候选实体计算相似度，相似度高于某个阈值即为预测结果。但是上述方法或多或少都存在各自问题，第一种方法将实体链接任务分为两个独立的阶段，没有利用两阶段之间的依赖关系，也使得第一阶段的误差不可修正地传递到第二阶段。而双向LSTM网络相比 预训练模型表达特征的能力有限，且十分依赖前任工作的成果。因此，亟需一种新的实体 链接方法。

发明内容

鉴于此，本发明实施例提供了一种端到端的实体链接模型训练方法、实体链接方法及 装置，以消除或改善现有技术中存在的一个或更多个缺陷，解决现有技术中实体识别和实 体消歧两阶段的误差相对独立无法传导修成导致的精确度不足的问题。

本发明的技术方案如下：

一方面，本发明提供一种端到端的实体链接模型训练方法，包括：

获取训练样本集，所述训练样本集中包含多个样本，每个样本为包含一个句子或多个 连续句子的段落，标记样本中的所有实体以及对应的描述信息作为标签；

获取预设知识库，所述预设知识库中记载有多个已知实体的描述信息，所述已知实体 包括一词多义以及多词同义的多种关系；

获取初始实体链接模型，所述初始实体链接模型包括第一BERT(BidirectionalEncoder Representations from Transformer)模型、第二BERT模型和Global Pointer层；所述第一 BERT模型与所述Global Pointer层连接用于执行指称识别，获取每个样本中的句子或段 落中的所有预测实体；所述第一BERT模型与所述第二BERT模型连接用于对所有预测实 体逐一进行实体消歧，其中，对于一指定预测实体，将第一BERT模型输出的全部作为第 一向量表示，将所述第一向量表示中与所述指定预测实体对应的部分作为实体向量表示， 将所述实体向量表示与所述第一向量表示加权求和得到整体向量表示；根据所述指定预测 实体检索所述预设知识库，找到与所述指定预测实体含义相同的一个正例以及含义不同的 两个负例，所述第二BERT模型对所述指定预测实体对应的正例及负例的描述信息分别进 行向量表示操作得到对应的第二向量表示；将所述整体向量表示分别与所述指定预测实体 对应的正例及负例的第二向量表示连接，并输入全连接层用于评分判断是否同义；

采用所述训练样本集对所述初始实体链接模型进行训练，其中，每个样本中的所有预 测实体逐一与各预测实体对应的所述预设知识库中的正例与负例进行实体消歧，计算联合 损失函数并反向传播，整体调节所述第一BERT模型、所述第二BERT模型和所述Global Pointer层的参数，得到目标实体链接模型。

在一些实施例中，所述预设知识库对所述已知实体配置存在一词多义或多词同义关系 的候选词。