[发明专利]一种基于T5神经网络的可解释阅读理解模型

说明书

本发明公开了一种基于T5神经网络的可解释阅读理解模型，不仅可以推理问题的答案，还可以提供解释答案的证据，可增强使用者对模型的信任，涉及人工智能中的自然语言识别处理领域。首先，提出了一种先通过上下文与问题生成解释答案的证据，然后再通过证据与问题生成答案的可解释阅读理解模型的处理模式。其次，提出了一种基于文本相似度的精确证据自动标注方法，对单一的阅读理解任务训练集中的样本进行证据标注，从而为微调训练基于T5神经网络的可解释阅读理解模型创造了条件。最后，在模型的微调训练过程中，提出了答案解码器的参数只有在证据损失小于一个阈值时才会被更新的证据损失过滤技术，从而可以过滤掉不准确证据对答案选择的影响。

技术领域

本发明涉及自然语言识别处理领域中的机器阅读理解，具体是一种基于T5神经网络的可解释阅读理解模型，可应用于各个领域的机器阅读理解任务中。

背景技术

一直以来，如何赋予机器理解人类语言的能力是自然语言处理(NaturalLanguage Processing，NLP)研究领域的热点，同时也是自然语言处理研究中的重点以及难点。其中，机器阅读理解(Machine Reading Comprehension，MRC)任务引起了自然语言处理研究者们的广泛关注。该任务是智能法律、智能教育、智能医疗等领域中的一个重要组成部分。例如在智能客服中，借助于MRC模型的强大检索能力，可以从产品说明书中自动抽取出相应问题的答案，这极大地减少了人工客服的工作量。目前，MRC模型已经在信息检索、智能问答、信息抽取等任务中得到了广泛的应用。

具体来讲，MRC任务的研究目标是在给定一段上下文和一个问题的前提下，要求机器给出该问题的答案。主流任务形式通常有抽取式、完形填空式、选项式、对错式以及自由式问答五种问答形式。该任务的一个重要应用价值在于传统的自然语言处理任务都可以转换为基于上下文的阅读理解任务，例如命名实体识别、机器翻译、文本摘要、关系抽取、情感分析等。这些传统任务通常借鉴于MRC模型卓越的问答能力，从而促使任务性能产生实质性的提高。与传统问答任务不同之处在于，MRC作为问答任务中的一个子集，更侧重于评估机器对上下文的理解能力。

早期的MRC研究可以追溯到对故事理解的研究，并且只局限于使用基于规则的启发式方法或者手动生成的规则[2]来生成包含答案的句子。由于MRC任务的复杂性，导致该任务在20世纪八九十年代一直没有得到重视。随着神经网络的引入，尤其是注意力机制的引入，在二十一世纪初，对于MRC的研究取得了重大的突破。主流方法关注细粒度的文本编码以及更好的段落和问题之间的交互。随着预训练技术的出现，MRC相关的任务性能取得实质性的提高。甚至在一些简单的抽取式MRC任务中，在相关评价指标下，模型的表现已经超越了人类。

尽管预训练模型的出现使得NLP中各种任务性能提升了一个台阶，但是在一些需要借助推理或者需要常识知识的复杂MRC任务中，模型的表现距离人类还有很大的差距[5]。另一方面，尽管相关模型在抽取式MRC任务中的表现已经超出了人类的表现，但是一个严峻的问题仍然摆在研究者面前，即就是这些模型的可解释性仍然保持着不确定，模型不能对输出的相关答案做出合理的解释，这一问题同时也限制着MRC模型在一些要求比较严谨的领域中的落地应用，例如医疗以及法律等领域。因此如何提高模型的可解释性成为当前研究的难点。这激发了研究者们对探索模型可解释性的兴趣，同时也促进了可解释人工智能(eXplainable Artificial Intelligence，XAI)的发展。

随着预训练语言模型(Pre-trained language models，PLMs)的广泛普及，现有主流MRC模型使用强大的PLMs作为编码器来编码上下文中的信息。然而大部分MRC模型只能给出对应问题的答案，而不能解释为什么会输出这样的答案。对于复杂的MRC任务来说，这限制着模型在现实生活中的应用，并且进一步限制着模型性能的提升。因此，如何标注准确的证据并且训练可解释性更好的模型已经成为MRC研究中要面对的主要挑战。

发明内容