[发明专利]基于双向注意力神经网络的对话理解方法、装置及设备

说明书

本发明涉及对话理解领域，具体涉及一种基于双向注意力神经网络的对话理解方法、装置及设备；其中，该方法包括S1、对用户的语音信号进行识别得到输入序列，S2、通过嵌入层将所述输入序列映射到向量，分别生成所述输入序列的意图注意力第一向量和语义槽注意力第一向量，S3、通过所述意图注意力第一向量和所述语义槽注意力第一向量，分别生成意图注意力向量和语义槽注意力向量，S4、将所述意图注意力向量和所述语义槽注意力向量进行多次交互，S5、输出与所述输入序列对应的输出结果；本发明所提出的方法描述了槽填充和意图预测之间的多重相互作用，有效性优于任何当前没有指定规则或特征的模型，双向注意力机制有助分析意图预测和槽填充之间的关系。

技术领域

本发明涉及对话理解领域，具体涉及一种基于双向注意力神经网络的对话理解方法、装置及设备。

背景技术

在过去的十年中，已经为许多应用领域建立了各种实用的对话系统，例如语音助理、自动驾驶汽车和智能家居。对话理解(SLU)是对话系统的一个重要组成部分，通常涉及两个任务：发言者意图的识别和从自然语言话语中提取出主要内容，分别称为意图预测和槽填充。意图预测的目的是识别用户在话语中隐含的意图，而槽填充则从话语中提取相关的语义成分，以达到目的。意图预测和槽填充是两个经常分别执行的任务。意图预测可以被视为文本分类的问题，使用诸如决策树和支持向量机(SVM)等分类器。槽填充被视为序列标记任务。序列标记问题的常用方法包括条件随机场(CRF)和循环神经网络(RNN)。然而，现有的研究并没有明确地模拟意图预测和槽填充之间的双向交互作用，通常以流水线方式传播和隐式(联合损失函数)单向(通过门控机制)联合学习，从而导致对话理解精确度不够。

发明内容

为了解决上述技术问题，本发明提供了一种基于双向注意力神经网络的对话理解方法、装置及设备。

本发明第一方面提供了一种对话理解方法，所述方法包括以下步骤：S1、对用户的语音信号进行识别得到输入序列；S2、通过嵌入层将所述输入序列映射到向量，生成所述输入序列的第一向量表示；S3、通过所述第一向量表示，生成意图注意力向量和语义槽注意力向量；S4、将所述意图注意力向量和所述语义槽注意力向量进行多次交互；S5、输出与所述输入序列对应的输出结果。

根据本发明公开的第一方面，所述方法还包括：在步骤S1中，将所述语音信号从时域转化到频域，提取语音信号中的词序列；利用声学模型将词序列转化为声学模型得分；利用自然语言处理模型将词序列转化为语言模型得分；综合声学模型得分和语言模型得分结果，将得分最高的词序列识别为输入序列。

其中，所述声学模型为DNN-HMM模型；所述自然语言处理模型为RNN模型。

根据本发明公开的第一方面，在步骤S3中还具体包括如下步骤：

S31、将意图注意力向量与权重矩阵相乘，构建第一查询矩阵、第一关键词矩阵和第一值矩阵；将步骤S3所生成的语义槽注意力向量与权重矩阵相乘，构建第二查询矩阵、第二关键词矩阵和第二值矩阵。

S32、将第一查询矩阵、第一关键词矩阵以及第一值矩阵作为输入进行计算，得到自注意力向量A1；将第二查询矩阵、第二关键词矩阵以及第二值矩阵作为输入进行计算，得到自注意力向量A2；将第一查询矩阵和第二关键词矩阵以及第二值矩阵作为输入进行计算，得到点乘注意力向量A3；将第二查询矩阵和第一关键词矩阵以及第一值矩阵作为输入进行计算，得到点乘注意力向量A4；将自注意力向量A1与点乘注意力向量A3相加得到权重意图注意力向量，将自注意力A2与点乘注意力A4相加得到权重语义槽注意力向量。

根据本发明公开的第一方面，所述方法还包括：在步骤S4中还具体包括如下步骤：

S41、改变步骤S31中权重矩阵的权值，重复步骤S31-S32，得到不同头的权重意图注意力和权重语义槽注意力；连接不同头的权重意图注意力向量，得到意图预测的隐藏状态向量；连接不同头的语义槽注意力向量，得到语义槽的隐藏状态向量；