[发明专利]一种基于门限卷积神经网络的机器阅读理解方法

说明书

本发明提供一种基于门限卷积神经网络的机器阅读理解方法，通过构建门限卷积神经网络模型，包括输入层、门限卷积层和答案层；输入层用于编码目标文章，将编码的文章向量序列、问题向量序列和答案向量序列传送给所述门限卷积层；门限卷积层通过交互的方式产生具有高层语义信息的文章，问题，答案表达，并将这些表达传送给答案层；最后由答案层进行推理决策，做出预测；确定目标文章，导入门限卷积神经网络模型中进行机器阅读理解，导出预测结果。本发明提供的一种基于门限卷积神经网络的机器阅读理解方法，有效简化了神经网络模型，大大减少了训练和测试时长，提高了处理效率，提升了用户体验感；保持文本的长期依赖关系，准确预测出答案信息。

技术领域

本发明涉及自然语言处理领域，更具体的，涉及一种基于门限卷积神经网络的机器阅读理解方法。

背景技术

机器阅读理解的目标是教机器学会阅读和理解人类语言，这是自然语言处理领域中一个长期的目标，它的任务形式主要包括完型填空阅读理解，段落抽取阅读理解，和开放域阅读理解。当我们给出一个文段、一个问题还有几个候选答案，机器能根据给定的文段和问题，并结合常识知识进行推理得出最终的答案。现在在该任务上的主流模型都是基于传统的循环结构，该结果虽然可以学习到文本的长期依赖关系，有利于促进模型进行推理，但该模型在训练和测试阶段很费时，这种高时间复杂度的问题限制了该模型在许多NLP任务的使用，影响用户体验，不利于研究的开展。

发明内容

本发明为克服上述现有存在的模型复杂度高，存在耗时长、影响用户体验及不利于研究的开展的技术缺陷，提供一种于门限卷积神经网络的机器阅读理解方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于门限卷积神经网络的机器阅读理解方法，包括以下步骤：

S1：构建门限卷积神经网络模型，包括输入层、门限卷积层和答案层；其中，所述输入层用于编码目标文章，将编码的文章向量序列、问题向量序列和答案向量序列传送给所述门限卷积层；所述门限卷积层通过交互的方式产生具有高层语义信息的文章，问题，答案表达，并将这些表达传送给答案层；最后由所述答案层进行推理决策，做出预测；

S2：确定目标文章，导入门限卷积神经网络模型中进行机器阅读理解，导出预测结果。

其中，步骤S1中，所述输入层利用多方位信息编码目标文章，计算每个单词的多个角度的特征表达，包括：词语嵌入、关系嵌入、词性标注和命名实体嵌入、特征嵌入；其中：

所述词语嵌入通过300维Glove词向量初始化词语嵌入矩阵，选择词频最高的10个单词对应的词向量进行微调，从而得到每个词对应的词语嵌入；

所述关系嵌入通过提取ConceptNet库中所有的关系并为每个提取出来的关系赋值一个随机初始化的10维向量，将关系嵌入变成一个二维矩阵，矩阵行数为ConceptNet库的关系总数，列数为10；对于目标文章每个单词，若在ConceptNet库中存在一条连接该单词和问题与答案中任一单词的边，那该单词的关系嵌入就是该边所对应的向量；

所述词性标注和命名实体嵌入先计算目标文章的每个单词的词性、所属的实体类型；然后将每个单词的词性训练为49个不同类型的词性标签，每个初始化为10维向量；最后将每个单词所属的实体类型训练为18个不同的标签，每个初始化为8维向量；

所述特征嵌入包括：对数词频特征、词语共现特征、词语模糊匹配特征；所述对数词频特征为基于英语维基百科统计每个单词的词频，取其对数作为该单词的对数词频特征；所述词语共现特征是一个二元特征，若一个单词同时出现在文章、问题和答案中，该单词就具备词语共现特征；所述词语模糊匹配特征仅需要部分匹配即可。

其中，步骤S1中，所述门限卷积层包括门限机制模块，该模块的具体计算公式为：