[发明专利]一种基于异步分层图神经网络的法律文本多跳阅读理解方法

说明书

本发明提出了一种基于异步分层图神经网络的法律文本多跳阅读理解方法，所述方法包括以下步骤：将法律文本进行分片，输入预训练模型中进行编码；通过Memory Attention的模块，对分片后的文本片段的嵌入向量进行全局信息的增强；在问题也送入编码层后，增强过的上下文信息和问题的嵌入向量将会进行双向的attention，得到上下文和问题双向编码向量；上下文和问题双向编码向量经过异步分层图网络多跳推理模块，在各层进行异步更新；通过多任务模块获得目标的答案和线索句子，以及整个推理路径。本发明提高了机器阅读理解问答算法在多步推理上的准确率，并提高了其推理链的可解释性，从而优化了机器阅读理解问答，对实现司法智能化有着非常重要的作用。

技术领域

本发明涉及一种基于异步分层图神经网络的法律文本多跳阅读理解方法，属于自然语言处理领域。

背景技术

机器阅读理解的一般架构如图2所示，从图中可以看出，编码层的作用是对文章和问题进行底层的处理，将文本转化成数字编码。交互层的作用是让模型聚焦文章和问题的语义联系，借助于文章的语义分析加深对问题的理解，同时借助于问题的语义分析加深对文章的理解。输出层是通过语义分析结果和答案的类型生成模型来得到最后的输出结果。现有的机器阅读理解模型大多都是在此框架下，在各层使用不同的算法，来获得表现更加优异的模型。

本发明在此框架下，改进了子结构，并丰富输出层，使其能适用于多种任务类型的问答。

发明内容

本发明提出一种基于异步分层图神经网络的法律文本多跳阅读理解方法。本发明的目的在于提高了机器阅读理解问答算法在多步推理上的准确率，并提高了其推理链的可解释性，从而优化了机器阅读理解问答，对实现司法智能化有着非常重要的作用。

本发明技术方案如下：

首先将法律文本进行分片，输入至预训练模型中进行编码；

为了解决分片后文本片段间远程注意力不足的问题，将加入一个MemoryAttention的模块，对分片后的文本片段的嵌入向量进行全局信息的增强；

在问题也送入编码层后，增强过的上下文信息和问题的嵌入向量将会进行双向的attention，得到上下文和问题双向编码向量；

上下文和问题双向编码向量经过异步分层图网络多跳推理模块，在句子-句子层、句子-实体层、实体-实体层、实体-句子层进行异步更新；

通过多任务模块，获得目标的答案和线索句子，以及整个推理的路径。

本发明的有益效果为：目前的机器阅读理解问答算法对于解决只需要单步推理的问题已经能达到很高的准确率，但是在需要多步推理阅读理解问答上的表现还尚有进步的空间，需要多步推理才能得到答案的阅读理解问答也叫多跳阅读理解。同时，大部分端到端的阅读理解模型缺乏对预测过程的可解释性的推理链。本发明提高了机器阅读理解问答算法在多步推理上的准确率，并提高了其推理链的可解释性，从而优化了机器阅读理解问答，对实现司法智能化有着非常重要的作用。

附图和附表说明

图1为MLTRC–AHGNN算法网络结构；

图2为机器阅读理解一般流程；

图3为BERT的模型结构；

图4为Memory Attention的模型结构；

图5为Bidirectional Attention的具体模型架构图；

图6为异步推理过程。

具体实施方式

下面将会描述该算法的思路，并给出算法的具体步骤。

步骤一：将法律文本进行分片，输入至预训练模型中进行编码。