[发明专利]基于答案类别和句法指导的案情阅读理解方法

说明书

本发明涉及基于答案类别和句法指导的案情阅读理解方法。本发明首先对训练数据中无答案类、是类否类进行数据扩充；然后经过数据预处理将数据输入到词嵌入层，在词嵌入层对篇章和问题进行向量化；紧接着在表示编码层将文本的词嵌入、词性、命名实体、二进制特性、词注意力、字符注意力以及MT‑LSTM向量进行拼接综合文本的整体信息编码；通过两层GRU进行上下文语义理解；然后通过注意力及融合层进行重要信息提取同时做答案有无二分类；最终利用输出层获取答案的起始位置和答案三分类。本发明通过答案类别及句法信息，提升模型对案情文本的编码能力。与同类模型相比，所提出方法有效提升了案情阅读理解的EM值和F1值。

技术领域

本发明涉及基于答案类别和句法指导的案情阅读理解方法，属于自然语言处理技术领域。

背景技术

机器阅读理解在人工智能领域是一个挑战性的任务，而案情阅读理解是机器阅读理解在司法领域的重要应用，有望辅助相关工作人员以问答的方式获取案件信息。

近年来，随着深度学习技术的发展，出现了许多基于神经网络的阅读理解方法。其中基于深度学习的抽取式阅读理解，普遍的模型是将问题和篇章编码共同输入到模型当中，最后输出答案片段。这些阅读理解模型，都是通过问题和篇章的语义编码，互注意力及自注意力机制获取篇章中与问题相关的信息，最后通过Pointer网络提取问题的答案。

机器阅读理解在司法智能方面有着很多的应用，基于裁判文书的案情阅读理解就是重要的应用之一。案情阅读理解是通过计算机阅读用户指定的裁判文书案情，并回答用户提出的问题。当前机器阅读理解的主流方法是采用深度学习模型对文本词语进行编码，并由此获得文本的向量表示。模型建模的核心问题是如何获得文本的语义表示，以及问题与上下文的匹配。但是在实际应用当中，用户提出的问题的答案不一定都有，以及句法信息有助于模型对关键信息的识别。

对于法研杯2019案情阅读理解，答案类型包括：无答案类、是类、否类、片段抽取类四类。其中无答案类即问题的答案在篇章中不存在，而是类和否类在表达上直接是是否或者有明显的倾向性。同时我们注意到这些问句，例如：“原告的月收入是？”、“原告的车损估价是多少？”、“原告的车辆的车牌号是？”等。这些问题在前期的注意力机制下基本都会注意到相关的信息，但在最后确定答案时，受限于问题的Sum_attention对每个词都要不同程度的关注而不能提取到问句的关键信息，就不能从前期关注到的相关信息中提取到正确的答案，造成答案不准。

发明内容

为了解决上述问题，本发明提供了基于答案类别和句法指导的案情阅读理解方法，本发明提高案情文本的编码能力，提升案情阅读理解的EM值和F1值。

本发明针对案情阅读理解的答案特征：无答案类、是类、否类、片段类，在案情阅读理解模型的注意力融合层之后对篇章表示进行答案有无二分类，在输出层利用起始位置的计算进行答案三分类。由于答案类别在训练数据上存在不平衡问题，通过对现有数据的改动增加无答案类和是否类答案的训练数据。针对问句在Sum_attention时的受限问题运用句法指导的mask注意力机制来提取问句当中的关键信息，提出了基于答案类别和句法指导的案情阅读理解模型，进行案情阅读理解答案抽取。

本发明的技术方案是：基于答案类别和句法指导的案情阅读理解方法，所述方法包括：

Step1、首先对训练数据中无答案类、是类否类进行数据扩充；

Step2、然后经过数据预处理将数据输入到词嵌入层，在词嵌入层对篇章和问题进行向量化；

Step3、紧接着在表示编码层将文本的词嵌入、词性、命名实体、二进制特性、词注意力、字符注意力以及MT-LSTM向量进行拼接综合文本的整体信息编码；

Step4、通过两层GRU进行上下文语义理解；

Step5、然后通过注意力及融合层进行重要信息提取同时做答案有无二分类；