[发明专利]一种基于自适应融合多注意力网络的问题和答案匹配方法

说明书

本发明提供一种基于自适应融合多注意力网络的问题和答案匹配方法，包括以下步骤：S1：分别将问题和答案里的每个单词都转化为词向量，并对词向量进行编码，得到词向量序列；S2：使用多个自注意网络提取一个问题中不同方面的信息，并分别编码为不同的问题向量；S3：为每个问题向量生成对应的答案向量；S4：计算出匹配度得分，并自适应地融合多个方面信息的匹配度得分，根据融合后的匹配度得分进行问题和答案的匹配。本发明提供一种基于自适应融合多注意力网络的问题和答案匹配方法，解决了目前使用多个自注意力网络的模型是通过多轮处理增强对问题和答案的理解，而不是获得问题和答案的多角度、多方面的信息的问题。

技术领域

本发明涉及自然语言处理技术领域，更具体的，涉及一种基于自适应融合多注意力网络的问题和答案匹配方法。

背景技术

深度学习具有很强的函数拟合能力，利用深度学习进行答案选择任务，具有运行速度快便于计算，优于传统效果等优点。通过精心设计网络结构，模拟人在进行答案选择时的思维过程，预期应该可以得到很好的效果。从前人的研究中，我们得知问题表征的学习在答案选择中有着非常重要的作用。一个好的答案选择模型，应该要能生成高质量的问题向量和答案向量，并且全面的捕捉问题与答案中的交互关系。实际上很难让一个简单的自注意力网络能够对所有问题都收集到有用的信息，因为一个双层前向网络的拟合能力有限。另外由于其时序特性，训练起来也比一般的全连接网络更困难。显然难以具备对所有问题都适用的收集信息的能力。一个方法是使用多个自注意力网络，然后强迫每个自注意力网络各自关注句子中的不同部分。它在训练时引入一个惩罚项，使得不同的自注意力网络产生的权值越相似，这个额外的惩罚损失就越大，从而达到强迫关注不同部分的目的。但是，目前使用多个自注意力网络的模型是通过多轮处理进行的，每轮处理之间存在依赖关系，所以更多的是应该将其理解为通过多轮处理增强对问题和答案的理解，而不是获得问题和答案的多角度、多方面的信息。

现有技术中，如2018-11-23公开的中国专利，基于交叉注意力神经网络的答案选择方法、装置和电子设备，公开号为CN108875074A，通过注意力机制利用不同候选答案之间的相互信息进行交叉评分以确定问题数据和答案数据之间的相关性，从而提升答案选择的准确性，但没有获得问题和答案的多角度、多方面的信息。

发明内容

本发明为克服目前使用多个自注意力网络的模型是通过多轮处理增强对问题和答案的理解，而不是获得问题和答案的多角度、多方面的信息的技术缺陷，提供一种基于自适应融合多注意力网络的问题和答案匹配方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于自适应融合多注意力网络的问题和答案匹配方法，包括以下步骤：

S1：分别将问题和答案里的每个单词都转化为词向量，并对问题和答案中的词向量进行编码，得到问题和答案的词向量序列；

S2：根据词向量序列使用多个自注意网络提取一个问题中不同方面的信息，并分别编码为不同的问题向量；

S3：使用序列注意力网络为每个问题向量生成对应的答案向量；

S4：计算出每个问题向量及其对应的答案向量的匹配度得分，并通过评估出一个问题中每个问题向量的权重以自适应地融合多个方面信息的匹配度得分，根据融合后的匹配度得分进行问题和答案的匹配。

优选的，在步骤S1中，采用双向LSTM分别对问题和答案中的词向量进行编码。

优选的，给定包含l个单词的句子S＝(w₁,w₂,...,w_l)，利用双向LSTM编码词向量，获取对应的隐藏层：