[发明专利]一种用于问答系统的答案选择方法

说明书

本发明公开了一种用于问答系统的答案选择方法，采用层次长度自适应神经网络结构来生成问题与答案的句子分布式表示，目的是根据输入句子的长度采用不同的神经特征抽取器来提取高质量的句子特征，首先通过连接一个固定的单词嵌入和一个微调的单词嵌入为输入语句中的每个单词生成一个单词分布式表示，然后，分别对短句子使用基于BiLSTM的特征抽取器和对长句子使用基于Transformer的特征抽取器，最后，使用一个考虑问答句之间交互作用的注意力池化层来生成用于衡量问题与候选答案之间相关性的句子向量表示，实验结果表明，本发明提出的基于长度自适应神经网络的答案选择模型在MAP和MRR方面可以比最先进的基线上取得较大的提升。

技术领域

本发明涉及问答系统技术领域，特别是指一种用于问答系统的答案选择方法。

背景技术

计算机问答系统中的答案选择，是从一些候选答案中选择问题的正确答案，现有方法主要尝试为问题与候选答案生成高质量的句子分布式表示，然后这些分布式表示将被用以衡量候选答案与问题之间的相关性，进而选择出相关性最高的候选答案作为正确答案返回，其中现有方法大多数工作都是通过使用循环神经网络(RNN)以实现良好的性能，但发明人在使用中发现，RNN使用相同的特征抽取器处理所有的问答句子，而不管句子长度如何，这些方法经常遇到长期依赖的问题，这意味着网络在学习位置相隔较远的单词之间的依赖关系时变得十分困难。这就导致了在长句子分布式表示时质量较低，因为这些句子的单词之间的长距离交互可能无法被完全捕获，造成了全局信息的缺失。

发明内容

有鉴于此，本发明的目的在于提出一种用于问答系统的答案选择方法，解决现有的问答系统中的答案选择方法忽略句子长度的问题。

基于上述目的本发明提供的一种用于问答系统的答案选择方法，包括以下步骤：

A.接收用户输入的问题句子和答案句子，利用预训练得到的词嵌入模型得出各句子中每个单词的词向量，并结合网络训练过程中对词嵌入模型进行微调后得出的词向量，计算得出组合后的单词向量；

B.从连接的单词向量中选取有效的特征，得到句子中每个单词的最终向量；

C.根据预设的句子长度阈值，在句子长度高于和低于阈值时，采用不同的特征提取器对句子进行处理，生成拟合后的包含上下文信息的句子矩阵表示；

D.注意力池化层根据步骤C中得到的包含上下文信息的句子矩阵，得出问题句子和答案句子的注意力相似度，通过分别在相似度矩阵的行和列的每一维度提取最大特征，对问题句子和答案句子进行长度自适应分布式表示，为问题句子和答案句子分别生成分布式向量表示；

E.测量问题句子和答案句子的分布式向量表示之间的余弦相似性，得到各答案句子相对于问题句子的相关性，根据相关性对答案句子进行排序。

优选地，在步骤A中包括以下步骤：

A1.将输入的问题句子和答案句子均定义为长度为L的句子s，对句子s中的第t个单词w_t，在语料库中预训练得到词嵌入模型，在其中查找单词对应的词向量

A2.在网络训练过程中对预训练的词嵌入模型参数进行微调，使其适用于当前数据集，得到更新过的词嵌入模型，在其中查找出单词对应的词向量计算组合后的单词向量为

优选地，在步骤B中包括以下步骤：

B1.部署隐藏层，从连接的单词向量中选取有效的特征，得到句子中每个单词的最终向量表示

其中和均为隐藏层参数,的维度为D；

B2.对各句子中的所有单词进行步骤A1、A2及B1，得到不含上下文信息的句子分布式矩阵表示