[发明专利]一种基于图推理模型的答案预测方法及装置

说明书

本发明公开了一种基于图推理模型的答案预测方法及装置，所述方法包括以下步骤：接收问题和支持文档集；通过文本瘦身筛选掉不相关的文档，并对所有的文本进行语义编码；使用多种注意力机制进行多种文本的语义交互和图节点的初始化；基于构建的图，使用GNN信息传递算法进行多跳推理；基于更新后的图节点表示，为每个候选计算用于预测答案的分数；根据答案的分数分布结果，预测未知的右实体即答案。本发明方法提出了一种新图，它将多种类型的元素视为图节点，使推理更加全面。同时，由于采用了句子节点，推理变得更加准确具体，融合了多种注意力机制来进行多重语义表示，并创新地考虑了候选之间的相对正误对推理的影响，使得答案预测更加准确。

技术领域

本发明属于人工智能中的自然语言处理技术领域，具体涉及一种基于图推理模型的答案预测方法及装置。

背景技术

机器阅读理解（MRC）主要被用来衡量机器对自然语言内容的理解程度，是实现人工智能重要的一步。通常情况下，MRC任务会给定一个文档和一个问题，机器需要选择、抽取和融合其中的关键语义信息，尝试回答这个文档相关的问题，这是一项复杂的自然语言处理任务。近年来，随着MRC研究者大军的兴起，很多高质量的数据集已经被提出来去评估MRC的发展水平，比如SQuAD、RACE等。很多神经模型已经被提出去追溯这些任务（BiDAF，Match-LSTM），并且，在一些优秀的预训练模型（BERT，ELMo）被提出之后，巨大的进步被获得。

在这些数据集中，大部分都是单跳的任务，即每个问题只对应一个被用来去寻找正确答案的文档。由于文档数量较少，关键信息比较集中，即使是缺乏推理能力的模型也可以很好的完成它。为了更好的评估和提升模型的推理能力，最近一些新的数据集被提出来（WikiHop，RACE）。这些数据集提供了大量的支持文档，为了完成预测答案的目标，模型需要通过推理在多个文档之间进行文本/信息的跳跃以聚集散落的关键信息。

多跳MRC是一项极具挑战性的任务，其主要体现在以下三个方面。首先，每个问题都对应着大量的支持文档，绝大部分模型难以直接处理如此大规模的支持文档。同时，支持文档中仅有一部分包含了与问题相关的信息，而其余的则是无关文档，这给模型带来了很大的干扰。其次，由于关键信息包含在多个文档之中，模型需要进行跳跃式的抽取，并把获得的信息有逻辑的连接在一起，这个过程是对推理能力的一种考验，然而，大多数模型都没有很好的实现推理。最后，多跳MRC要求模型进行多次递进式的信息提取和融合，而每一次信息抽取的误差会被不断传播，最终会导致误差的积累，给模型效果带来很大的不确定性。

鉴于这些困难，一些基于图神经网络（GNN）的多跳推理模型已经被提出。Song等人把实体作为GNN的节点进行推理，DE Cao等人使用候选在文档中的提及作为GNN的节点，而Tu等人则使用编码后的句子作为GNN的节点，经过多步推理后用更新的句子表示来获得结果。这些模型在不同颗粒度层次使用了基于GNN的多跳推理，在效果上获得了显著提升。然而，单单使用实体、句子或候选的一种作为GNN的节点来实现推理并捕捉关键信息，不足以支撑精准的推理。当然，那也有一些模型使用了两种类型的节点来构建图，但这还不够。同时，基于实体层级的图推理太过精细了而基于文档层级的却太粗糙了，推理效果都得到了压制。

发明内容

有鉴于此，为了解决现存的技术问题，本发明提出一种基于图推理模型的答案预测方法及装置，本发明把实体、候选和句子三种层级的信息当作节点，图的信息更加丰富，包含了回答问题所需的全部关键信息；收集并采用所有三种类型的信息，会大大提高给定的文本资源的利用率；把问题对象作为推理的初始节点，句子和实体用作中间节点，最终推理结束于候选，这样的一个推理过程更符合人类的逻辑；本发明中的图通过合理的规则在节点之间具有丰富的连接，从而确保了平滑的信息流动性，模型方法可以连续捕获节点之间的关联信息并进行传递。最终，使得本发明方法和装置对多跳机器阅读理解中的答案预测准确率更高。

一种基于图推理模型的答案预测方法，包括以下步骤：