[发明专利]一种可解释的文本推断方法

说明书

本发明提供一种可解释的文本推断方法，该方法通过观察人类对文本进行理解和推理的过程，模拟人类的文本推断的思维过程进行构建模型，使构建的模型具有可解释性。具体地，考虑到人类在进行长文本阅读的时候，对文本的理解主要基于空间顺序和内容关联两方面，将两方面的信息融合进行理解和推理，因此，本发明根据人类阅读文本的这一特点，根据文本中句子的空间顺序和句子的内容进行融合而构建神经网络模型，且该模型可模拟人类推理过程。为了更好地讲述和理解本发明提出的文本推断方法，本发明将该方法具体应用于机器阅读理解任务。

技术领域

本发明涉及自然语言理解领域，更具体地，涉及一种可解释的文本推断方法。

背景技术

文本推断是自然语言理解领域的前沿研究方向，具体包括对文本的理解和文本的逻辑推理两个研究挑战。传统的文本推断方法在于推断过程中引入逻辑规则，这些逻辑规则由专家手工构建，往往针对具体的推理场景，泛化能力差且规则构建成本高。而随着深度学习的兴起，基于深度学习的文本推断技术获得广泛关注。基于深度学习的文本推断方法分为两大类，第一类是基于知识库，通过引入知识图谱等外部知识提高模型对文本的理解能力和推理能力，第二类则是通过构建模型对现有文本进行理解和推断。本发明在意的是基于深度学习的第二类文本推断方法，而现有该类方法的模型主要通过循环神经网络或预训练语言模型对文本进行理解，然后通过注意力机制或者构建实体级别的图网络进行推理，对文本的理解过于粗糙且模型缺乏可解释性。

机器阅读理解是指让机器能够阅读文档、理解文档所表达的意思并根据文档内容推理出问题答案。近年来，阅读理解作为自然语言处理的一个重要任务成为了学术界和工业界的研究热点，成为了评价基于自然语言处理的智能系统的核心任务之一。

机器阅读理解任务一般可以分为4类：完形填空、多项选择、片段选择和答案生成。本发明主要意在处理多项选择任务。阅读理解的选择题通常包括一篇背景材料、一个或多个问题以及每个问题的多个选项。多项选择任务则是从多个候选答案中为问题选择出正确的答案。目前的数据通常来源于试卷中真实的阅读理解题，问题和答案候选集由专家手工进行构建，候选答案通常为4个。代表数据集为RACE(ReAding comprehension datasetfrom examination)，该数据集来源于中国中学生的英文试卷，涵盖多个领域的主题和多种不同类型的篇章。

传统的处理机器阅读理解问题的方法是基于规则的。1999年提出的Deep Read系统采用信息抽取的方法，分别将问题和背景材料中的关键信息抽取出来，然后采用匹配的方式从背景材料中搜索出问题查询的信息，该系统使用词袋模型对句子信息进行表示。2000年提出的基于规则的阅读理解问答系统Quarc可以接收一篇背景材料并且挑选出一个最合适的句子作为相应问题的答案，Quarc通过启发式规则查找背景材料和问题中的词汇和语义线索。

传统的处理机器阅读理解问题的方法基于规则或手工构建特征的方式依赖人工，模型的泛化和迁移能力差。

随着大规模阅读理解数据的出现，数据驱动的方法开始占据了主导，基于深层神经网络的端到端模型成为了机器阅读理解研究的主流方法。大部分端到端的深度学习模型都采用“编码器-推理与交互-答案预测”的框架来解决阅读理解问题。

对于编码器，多数阅读理解任务方法采用循环神经网络(RNN，recurrent neuralnetwork)或长短期记忆网络(LSTM，Long Short Term Memory Network)来实现，近年来，随着预训练语言模型的兴起及其在各个自然语言处理任务中取得出色效果，采用预训练语言模型作为编码器成为趋势。

交互与推理过程是指对背景材料和问题等信息的处理。交互主要指在背景材料信息与问题信息之间的关联操作，而推理主要指由已有信息产生新信息的过程。目前，在阅读理解选择题任务上，常用于这一过程的结构是RNN和注意力机制。

最终的答案预测阶段，则一般是采用线性全连接层或者注意力机制。