[发明专利]提高相关性的神经问题生成方法

说明书

本发明公开了一种提高相关性的神经问题生成方法。本发明一种提高相关性的神经问题生成方法，包括：基于seq2seq的QG模型，由encoder层和decoder组成，并加入了attention机制和copy机制；基于字符重叠的部分copy机制。本发明的有益效果：通过基于字符重叠度的部分copy机制，我们可以使得生成问题中在单词级别和输入文档具有更高的重叠度和相关性。通过基于QA模型的重排序机制，我们可以为生成的那些质量较好的候选问题赋予更高的分数，而过滤掉那些较为通用的、难以回答的问题。

技术领域

本发明涉及问题生成领域，具体涉及一种提高相关性的神经问题生成方法。

背景技术

问题生成(Question Generation,QG)是自然语言处理中一个非常重要的问题，是考验计算机是否真正理解文本的一项重要途径，并广泛应用于各个领域。QG可以为问答系统(Question Answering,QA)创建大量的QA对，为相关任务提供数据集。同时，QG本身也可以为医疗诊断系统、家庭教育系统等提供服务。QG任务的输入通常包含文档(或句子)和答案，输出是在给定文档和目标答案的情况下，生成最有可能的问题。

一般来说，QG模型是一个序列到序列的结构(Sequence to sequence,seq2seq)，由一个编码器(encoder)和解码器(decoder)组成，encoder将输入的文档和目标答案编码成向量(也称为源端)，然后decoder根据这个向量逐字生成一个完整的问题(也称为目标端)。为了增强模型的性能，通常还会有注意力(attention)机制和拷贝(copy)机制。

相关技术：

(1)Leveraging Context Information for Natural Question Generation。文章构造一个seq2seq的模型，将文档和目标答案作为输入，旨在生成一个合理的问题。这个模型带有attention机制和copy机制。

传统技术存在以下技术问题：

QG模型是个seq2seq的结构，并且通常会加入copy机制来保证生成问题的可靠性。

实际上，由于生成模型的特性，QG模型往往会趋向于生成一些较为通用的问题，比如“他叫什么名字？”、“他是谁？”、“它是什么？”。这种问题具有极强的一般性，针对于不同的输入都可以提出类似的问题，因此非常受到QG模型的青睐。但实际上，这种通用性问题并不是我们想要的好的问题，它们和输入文档/答案不具有较高的相关性，也会让回答者难以回答。

发明内容

本发明要解决的技术问题是提供一种提高相关性的神经问题生成方法，针对于QG模型中“生成的问题通用性强、相关性低”的问题，我们提出了两种改善的方法：一种是使用基于字符重叠的部分copy机制，通过字符重叠度来优先考虑原文中出现的词或是其变形词，另一种是基于QA模型的重排序机制，通过QA模型来评价生成问题的质量并以此为依据进行重排序。这两种方法可以让我们的QG模型可以生成与输入文档/答案具有更高相关性的问题。

为了解决上述技术问题，本发明提供了一种提高相关性的神经问题生成方法，包括：基于seq2seq的QG模型，由encoder层和decoder组成，并加入了attention机制和copy机制；

基于字符重叠的部分copy机制：

考虑使用最长公共子序列(Longest common subsequence,LCS)来定义单词w1和w2的重叠度C：

这里使用一个阈值来对C进行过滤：