[发明专利]一种基于异步分层图神经网络的法律文本多跳阅读理解方法

权利要求书

1.一种基于异步分层图神经网络的法律文本多跳阅读理解方法，该算法包括以下步骤：

步骤1：将法律文本进行分片，输入至预训练模型中进行编码。文本编码模块的主要作用是实现对文本和问题的encoder，得到双方的表示向量，并作为下游任务的输入，来更好地完成下游任务。

步骤2：通过Memory Attention的模块，对分片后的文本片段的嵌入向量进行全局信息的增强。标准的BERT实现将输入大小限制为固定数量(通常为512)的tokens。然而实际的法律文本常常远远超过512个字的字数限制，针对这个问题提出了一种用于增强长文本的上下文依赖性的attention机制，即Memory Attention机制。

步骤3：增强过的上下文信息和问题的嵌入向量进行双向的attention，得到上下文和问题双向编码向量。

步骤4：上下文和问题双向编码向量经过异步分层图网络多跳推理模块，在句子-句子层、句子-实体层、实体-实体层、实体-句子层进行异步更新。每一次迭代，在词与问题进行交互后，节点根据不同层次的关系异步地相互传递消息。然后，问题也会通过句子节点进行更新，以便找到下一跳的线索。

步骤5：通过多任务模块，获得目标的答案和线索句子，以及整个推理的路径。多任务联合训练是通过共享相同的上层任务，再各自独享单独的下层任务来实现的，可以避免针对不同的任务进行重复地编码，提高模型的效率。

2.如权利要求1所属方法，其特征在于，步骤2提出一种用于增强长文本的上下文依赖性的attention机制，即Memory Attention机制。Memory Attention的主要思想是对输入进行两次处理：第一次处理为将长文本输入切分为一组短文本段，这些短文本段可以独立并行地阅读；第二次处理为编码器再次读取每个片段，然后使用其他片段的压缩信息对其进行增强。Memory Attention的关键就在于，如何保存来自所有段的压缩信息。为此，本算法专门建立一个存储模块，用来保存所有段的压缩信息。

3.如权利要求1所属方法，其特征在于，步骤3中优化了传统的attention机制。本算法将采用的attention机制并不将上下文编码进固定大小的向量，而是根据前一层的表征计算每个time step的attention及其attended vector，计算query-to-context(Q2C)和context-to-query(C2Q)两个方向上的attention，两个方向上的attention可以相互补充，完善上下文和问题的向量，增加后续任务的准确率。

4.如权利要求1所属方法，其特征在于，步骤4中的异步分层图网络多跳推理模块，设计了一种多层图神经网络。使用文本的跨度的表示来初始化实体和句子节点，对于多层图网络的边，我们定义了四种层次的关系，分别为句子-实体、实体-实体、实体-句子、句子-句子四种层次。每一次迭代，在词与问题进行交互后，节点根据不同层次的关系异步地相互传递消息。然后，问题也会通过句子节点进行更新，以便找到下一跳的线索。

5.如权利要求1所属方法，其特征在于，步骤5中通过答案抽取模块、答案分类模块和线索句子判别模块进行多任务联合预测。答案抽取模块是为了完成答案输出的任务。答案分类模块是用来识别不同的任务类型，采用三个分类子模块的联合输出作为分类结果，提高分类的准确率。线索句子判别模块将线索句子判别作为一个二分类任务来实现，使用两种网络的联合判别来提高分类的准确性。