[发明专利]神经语音到意思

说明书

本公开涉及神经语音到意思。在表达特定意图的语音音频上训练神经语音到意思系统。该系统接收语音音频，并产生关于语音中的音频何时与意图匹配的指示。意图可以包括变量，变量可以具有大范围的值，例如地点的名称。神经语音到意思系统同时识别变量的枚举值和总体意图。所识别的变量值可以用作响应于所识别的意图而做出的API请求的自变量。因此，神经语音到意思支持基于API命中为用户提供服务的语音虚拟助手。

技术领域

本发明属于使用神经网络机器学习进行自然语言理解的领域。

背景技术

图1示出了具有声音(voice)接口的常规虚拟助手的架构。虚拟助手从诸如麦克风之类的源接收捕获的语音(speech)音频或通过网络接收音频数据的分组。虚拟助手对捕获的语音音频执行自动语音识别(ASR)101，以产生转录。一些产生多个转录假设的集合，每个转录假设具有概率得分。图1的虚拟助手对转录执行自然语言理解(NLU)102，或者在多个实例中对多个转录假设执行。NLU产生意图。该意图是具有信息的数据结构，虚拟助手可以作用于该信息来协助用户。

虚拟助手做出关于用户何时已做出具有完整意图的完整表述的决定。我们称其为命中(hit)。当用户停止讲话足够长的时间后，某些虚拟助手确定发生了命中。这称为话语结束(end-of-utterance，EOU)检测。一些虚拟助手替代地或者还基于根据NLU的表述的表观完整性(apparent completeness)来确定命中。

图1的虚拟助手，在确定已经发生命中后，迅速地做出对于给出所表达的意图的用户可能会有用的某些事情103。某些事情是适合于对意图做出响应的任何种类的功能。例如，虚拟助手可以例如通过使用HTTP协议来对互联网上的数据源104执行Web应用程序编程接口(API)调用。例如，这对于查找天气预报是有用的。对于另一示例，虚拟助手可能会执行如下动作，例如，发送具有意图中所包含词语的消息或使机器人进行物理移动。可以在软件开发工具包(SDK)中定义该功能，其中API访问是适当的函数调用的一个示例。

图1的虚拟助手1，在做完某些事情后，产生对用户的响应。这可以包括来自API访问的数据，动作的确认以及任何其他相关信息。虚拟助手执行文本语音转换(text-to-speech，TTS)105以合成语音音频。该响应可以包括针对合成语音的韵律的指示，以便强调某些词语并传递期望的语音风格。常规系统在ASR和NLU组件中包含许多复杂的技术，ASR和NLU组件共同接收语音音频并产生意图和命中信号。

图2示出了ASR功能内的常规组件。声学模型201接收音频，将其划分为帧，并执行数字信号处理(DSP)以将音频样本转换为帧内的频谱能量值。较旧的系统对频谱数据使用了隐马尔可夫模型(hidden Markov models，HMM)。较新的系统使用神经网络(NN)模型202。还可能有其他途径。声学模型生成音素序列假设以及每个假设的声学得分。

在令牌化(tokenization)203的过程中，针对字母语言的ASR对照包括针对每个词语的一个或多个发音的发音字典204来核查音素序列假设。对于完整的语言转录，发音字典可能具有一百万或更多个词语。对于特定于应用的系统，该字典可以较小。令牌化产生由词语的序列组成的词语序列假设，这些词语的序列按顺序包括假设的一系列音素。诸如中文之类的非字母语言不是根据字典进行令牌化，而是将音素按顺序组装为字符的发音。无论是字符还是词语，结果都是令牌序列假设。