[发明专利]口语理解系统

说明书

一种口语理解(SLU)系统，该口语理解系统接收与用户的一个或更多个口头话语相对应的一序列词语，使所述一序列词语通过口语理解模块以生成一序列意图。使所述序列词语通过多尺度递归神经网络(MSRNN)的第一子网络，并且使所述序列意图通过多尺度递归神经网络(MSRNN)的第二子网络。接着，组合第一子网络的输出与第二子网络的输出以预测用户的目标。

技术领域

本发明总体上涉及语音处理，并且更具体地，涉及用于在用户与口语对话系统对话期间基于来自该用户的语音中表达的目标来确定要由该口语对话系统执行的下一动作。

背景技术

如图1所示，在用户101与常规口语对话系统140之间的对话期间，自动语音识别器(ASR)110处理用户语音102，以向口语理解(SLU:spoken language understanding)模块120提供输入111。针对SLU的输入可以采用本领域同样已知的各种形式。通常，输入是一序列词语。所述词语可以具有关联的概率。SLU从输入提取语义信息。语义信息表示用户在语音中表达的意图121。所述意图可以随着该序列词语被渐进地处理而改变。然而，当已处理了序列中的所有词语时，确定概括所述意图的目标。基于该目标，对话管理器(DM)130确定口语对话系统要执行的下一动作131。

口语对话中的两个关键任务是用户意图理解与用户目标估计。SLU模块提取用户语音的寓意(下文中称作“意图(intention)”)。DM基于该意图的结果(即，目标)来确定下一动作。

该对话通常包括来自用户的一序列语音以及系统的对应话语和动作。意图和目标估计在比词语理解长的时间尺度上发生。随着获取了更多信息并且意图被澄清，目标的估计可以在对话期间改变。目标估计性能非常重要，因为其可以易于用户更快地实现正确的操作。

目标121是对话管理器130的输入，目标121表示由SLU模块从用户语音中提取出的用户寓意。然后，口语对话系统基于意图理解的结果来确定接下来要采取哪个动作。目的是完成对话，其可以包括面向目标的口语对话系统中的多个用户和系统话语/动作。

意图理解被拟定为语义话语分类问题，而目标估计被拟定为整个对话的分类问题。常规的意图理解和目标估计可以在目标估计中使用词语包(bag of word(BoW))特征或意图包(bag of intention)特征作为分类方法的输入，诸如助推(boosting)、支持矢量机和/或逻辑回归。

然而，将BoW特征应用于SLU任务的问题之一是特征矢量趋于非常稀疏。每个话语通常只有相对少量的词语，而不像通常在文档分析期间可用的非常大量的词语。因此，BoW特征矢量有时缺乏足够的语义信息来准确地估计用户意图。

最成功的神经网络方法之一是基于深度信念网络(DBN)，DBN可以被看作是简单的无监督网络(如限制Boltzmann机(RBM)的堆栈)的组成。针对RBM的参数被用作初始值以通过反向传播过程来估计神经网络参数。在DBN背景下，确定初始参数的第一步骤被称作预训练，而区分性网络训练的第二步骤被称作微调。

常规神经网络预测和训练系统分别如图6和图7所示。如图6所示，为了预测，词语序列610被输入至网络620，并且根据网络参数630加以处理以生成用户意图和目标621。

图7示出了利用预训练网络参数625和训练序列710对网络620的网络参数630的对应训练。

因为深度神经网络(DNN)和DBN训练在ASR和图像处理中的成功，所以其它神经网络架构已被应用至包括深凸网络(Deep Convex Network)、递归神经网络(RNN)，以及长期短期记忆(LSTM)RNN的SLU。

然而，在将那些技术应用于SLU时，一个主要的困难是经常没有足够的训练数据用于任务，并且诠释训练数据可能是耗时的。在低资源条件下训练的神经网络的性能通常因过度训练而较差。

词语嵌入