[发明专利]一种基于动态路由机制的机器阅读理解网络模型的建立方法、方法、存储介质及终端

说明书

本发明公开了一种基于动态路由机制的机器阅读理解网络模型、方法、存储介质及终端，它包括：基础编码层：用于完成对输入文本段落和问题序列的交互匹配式编码，并最终以向量序列的形式输出对输入信息的编码；路由解码层：用于接收来自所述基础编码层的向量序列，经过多层动态路由层解码映射成高级语义特征向量并进行适应性的轻微重编码后输出；输出层：将所述动态路由层输出的高级语义特征向量经过处理得到答案并输出；通过将动态路由机制引入到机器阅读理解的深度神经网络模型中，有效提高了模型对自然语言的理解和推理能力。

技术领域

本发明涉及语言处理技术领域，尤其涉及一种基于动态路由机制的机器阅读理解网络模型的建立方法、方法、存储介质及终端。

背景技术

一般来说，人们在读完一篇文章之后就会在脑海里形成一定的印象，例如这篇文章讲的是什么人，做了什么事情，出现了什么，发生在哪里等等。人们能够很轻而易举地归纳出文章中的重点内容。机器阅读理解的研究就是赋予计算机与人类同等的阅读能力，即让计算机阅读一篇文章，随后让计算机解答与文中信息相关的问题。这种对人类而言轻而易举的能力，对计算机来说却并非如此。

现目前对于自然语言处理的研究都是基于句子级别的阅读理解，例如给计算机一句话，理解句子中的主谓宾语、定状补语，谁做了什么事情等等。但是对于长文本中问题的阅读和理解一直是研究的一个难点，因为这涉及到句子和上下文之间的连贯性以及逻辑推理等更高维的研究内容，使得目前对这一块的研究还很空缺。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于动态路由机制的机器阅读理解网络模型的建立方法、方法、存储介质及终端，填补了目前涉及到句子和上下文之间连贯性以及逻辑推理等更高维研究内容的空缺。

本发明的目的是通过以下技术方案来实现的：一种基于动态路由机制的机器阅读理解网络模型的建立方法，它包括：

基础编码层：用于完成对输入文本段落和问题序列的交互匹配式编码，并最终以向量序列的形式输出对输入信息的编码；

路由解码层：用于接收来自所述基础编码层的向量序列，经过多层动态路由层解码映射成高级语义特征向量并进行适应性的轻微重编码后输出；

输出层：将所述动态路由层输出的高级语义特征向量经过处理得到答案并输出。

所述路由解码层包括由多个动态路由层以级联的方式堆叠而成，每个动态路由层包括由一层胶囊网络层和一层双向LSTM层组成。

所述胶囊网络层接收来自所述基础编码层的向量序列，并将这些携带问题序列和段落交互信息的编码向量解码映射成高级语义特征向量；所述双向LSTM层在阅读理解所述高级语义特征向量的基础上对所述高级语义特征向量进行适应性的轻微重编码。

一种基于动态路由机制的机器阅读理解方法，所述方法包括以下内容：

路由解码层中最底层的胶囊网络层接收来自基础编码层的向量序列，并将这些携带问题序列和段落交互信息的编码向量解码映射成高级语义特征向量；

双向LSTM层在阅读理解所有高级语义特征向量的基础上对高级语义特征向量进行适应性的轻微重编码；

重复步骤二和步骤三直到所有高级语义特征向量被映射提取以及轻微重编码后输入到输出层。

还包括输入文本段落和问题序列到基础编码层进行交互匹配式编码并输出编码后的向量序列到所述胶囊网络层的步骤。

还包括输出层对路由解码层的输出经过处理后输出答案的起始位置和结束位置的步骤。

所述胶囊网络层将携带问题序列和段落交互信息的编码向量解码映射成高级语义特征向量的具体步骤如下：

将经过编码后的向量u_i进行仿射变换，得到仿射变换后的结果