[发明专利]利用引入了语义信息的词向量进行机器阅读理解的方法

说明书

本发明属于自然语言自动处理技术领域，为更精确地解决机器阅读理解问题，本发明，利用引入了语义信息的词向量进行机器阅读理解的方法，步骤如下：步骤一、把机器阅读理解模型所涉及到的上下文和问题中的词均使用词向量表示；步骤二、使用Retrofitting对词向量进行微调，得到词向量表示的上下文序和问题序列；步骤三、编码：分别对上下文和问题序列进行编码，得到上下文表示和问题表示；步骤四、基于迭代对编码后的上下文和问题序列进行交互；步骤五、生成答案：从步骤四得到的fully‑aware context representation中提取答案片段的起始位置和结束位置。本发明主要应用于机器自动处理语言场合。

技术领域

本发明属于自然语言处理技术领域，尤其是涉及基于深度学习模型来实现机器阅读理解的方法。

背景技术

作为一种衡量机器对文本的理解程度的方法，机器阅读理解要求模型根据一段给定的上下文来回答针对其提出的问题，该任务是衡量机器对自然语言理解程度的标准之一。机器阅读理解的目标是缩小机器与人之间在自然语言理解方面的差距，这一目标可以形式化地表述为：给定上下文C、根据C提出的问题Q和人类给出的对于问题Q的正确答案A，要求模型通过学习函数F来给出问题Q的正确答案A：F(C，Q)＝A。机器阅读理解很可能会改变一直以来的人机交互方式，例如，由机器阅读理解解决方案提供支持的搜索引擎可以更好地处理自然语言问题，与仅返回一些相关的网页相比，这种方式将为用户提供更好的搜索体验。基于对给定文档的理解，机器阅读理解模型还可用于提供高质量的咨询服务，机器阅读理解模型也可以用于信息检索，使其更加有效，等等。

针对基于深度学习模型的机器阅读理解问题，有多种方法如循环神经网络、双向transformer(一种基于注意力机制的网络模型)、Reinforced Mnemonic Reader(增强助记符阅读器)来改进神经网络模型以实现更高效的机器阅读理解模型，但这些方法都不可避免地局限在模型结构的改进上面，而忽略了对模型使用到的词向量进行改进。本发明提出利用Retrofitting(一种词向量后处理方法)技术将语义词典中的语义信息引入到词向量中，再利用处理过的词向量处理机器阅读理解问题的方法。

发明内容

为克服现有技术的不足，本发明旨在：

1)针对机器阅读理解问题，提出一种引入知识的阅读理解方法，以更精确地解决机器阅读理解问题。

2)该方法利用Retrofitting技术对机器阅读理解模型使用的词向量进行微调，提高模型的完全匹配分数和F1分数(一种兼顾了模型的精确率和召回率的性能衡量指标)。

3)该方法能够充分考虑语义词典中蕴含的关系信息，能够将其引入到机器阅读理解所使用的词向量中去，可以更加准确地表示机器阅读理解问题涉及到的词，从而提高机器阅读理解模型的正确率。

为此，本发明采取的技术方案是，利用引入了语义信息的词向量进行机器阅读理解的方法，步骤如下：

步骤一、嵌入：把机器阅读理解模型所涉及到的上下文和问题中的词均使用词向量表示；

步骤二、使用Retrofitting对词向量进行微调，得到词向量表示的上下文序和问题序列，Retrofitting是一种通过鼓励具有相互关系的词获得更相似的向量表示，来利用语义词典中的关系信息优化向量空间表示的方法；

步骤三、编码：引入词汇信息、句法信息，包括关键词是否完全匹配，词性标签、实体标签、问题的类别，分别对上下文和问题序列进行编码，得到上下文表示和问题表示；

步骤四、基于迭代对编码后的上下文和问题序列进行交互：引入注意力机制来完成文章级别的自对齐，得到充分感知的上下文表示fully-aware contextrepresentation；

步骤五、生成答案：从步骤四得到的fully-aware context representation中提取答案片段的起始位置和结束位置。