[发明专利]语音识别系统

权利要求书

1.一种语音识别系统，该语音识别系统包括：

一个或更多个处理器；以及

一个或更多个储存装置，所述一个或更多个储存装置存储参数和包括由所述一个或更多个处理器能执行的指令的程序模块，当执行所述指令时使所述一个或更多个处理器执行包括以下内容的操作：

从经由音频接口或网络接口控制器获得的音频波形数据中提取声学特征序列；

使用具有编码器网络参数的编码器网络将所述声学特征序列编码为隐藏向量序列；

通过将所述隐藏向量序列馈送至具有解码器网络参数的解码器网络来预测第一输出标签序列概率；

通过使用字符级语言模型和单词级语言模型的混合网络来预测第二输出标签序列概率，其中，当在先前单词之后的字符属于指示单词的结尾的预定标签的集合并且所述先前单词被包括在所述单词级语言模型的词表中时，根据通过使用所述单词级语言模型获得的概率和通过使用所述字符级语言模型获得的概率的除法来计算所述第二输出标签序列概率，其中，当所述先前单词之后的所述字符属于所述预定标签的集合并且所述先前单词未被包括在所述单词级语言模型的词表中时，通过使用所述单词级语言模型和缩放因子来计算所述第二输出标签序列概率，其中，当所述先前单词之后的所述字符不属于所述预定标签的集合时，通过使用所述字符级语言模型来计算所述第二输出标签序列概率；以及

通过将从所述解码器网络和所述混合网络提供的所述第一输出标签序列概率和所述第二输出标签序列概率组合，来搜索具有最高序列概率的输出标签序列。

2.根据权利要求1所述的语音识别系统，其中，所述操作还包括：

由联结主义时序分类使用联结主义时序分类网络参数和来自所述编码器网络的隐藏向量序列来预测第三输出标签序列概率，其中，通过将从所述解码器网络、所述混合网络和所述联结主义时序分类提供的所述第一输出标签序列概率、所述第二输出标签序列概率和所述第三输出标签序列概率组合来执行所述搜索。

3.根据权利要求1所述的语音识别系统，其中，所述混合网络包括：计算字符级概率的字符级递归神经网络以及计算单词级概率的单词级递归神经网络。

4.根据权利要求1所述的语音识别系统，其中，所述解码器网络在预测所述第一输出标签序列概率之前接收先前标签。

5.根据权利要求2所述的语音识别系统，其中，所述联结主义时序分类在预测所述第三输出标签序列概率之前接收先前标签。

6.根据权利要求1所述的语音识别系统，其中，所述编码器网络包括层叠的双向长短期记忆和卷积神经网络。

7.根据权利要求1所述的语音识别系统，其中，所述解码器网络包括层叠的长短期记忆并且使用所述隐藏向量序列的注意力机制来预测所述第一输出标签序列概率中的每一个。

8.根据权利要求1所述的语音识别系统，其中，对数域中的线性组合被用于组合所述第一输出标签序列概率和所述第二输出标签序列概率。

9.根据权利要求1所述的语音识别系统，其中，搜索操作使用波束搜索来找到具有通过组合从所述解码器网络和所述混合网络提供的所述第一输出标签序列概率和所述第二输出标签序列概率而获得的最高序列概率的输出标签序列。

10.根据权利要求9所述的语音识别系统，其中，所述波束搜索首先使用从所述解码器网络提供的第一标签序列概率来找到完整标签序列假设的集合，然后从所述完整标签序列假设的集合当中找到具有最高序列概率的所述输出标签序列，所述最高序列概率通过组合从所述解码器网络和所述混合网络提供的所述第一输出标签序列概率和所述第二输出标签序列概率而获得。

11.根据权利要求9所述的语音识别系统，其中，所述波束搜索剪除与其它不完整标签序列假设相比具有低序列概率的不完整标签序列假设，并且所述组合的输出标签序列概率是通过组合从所述解码器网络和所述混合网络提供的所述第一输出标签序列概率和所述第二输出标签序列概率而获得的。