[发明专利]一种基于Maxout神经元的深度双向LSTM声学模型

摘要

本发明请求保护一种基于深度双向长短时记忆(DBLSTM)递归神经网络(RNN)的声学模型，DBLSTM网络主要分为三部分：在DBLSTM的全连接部分，使用Maxout神经元代替原来的Sigmoid神经元来解决RNN中常出现的梯度消失和爆炸的问题；同时使用Dropout正则化训练算法避免了神经网络在训练过程中出现过拟合。在多层BLSTM部分，为适应DBLSTM对每个时间步长的双向依赖性，提出了上下文敏感块的随时间反向传播(CSC‑BPTT)算法来训练该网络。在多层BLSTM部分之后采用一层选择连接层，用于对DBLSTM的输出进行变换得到全连接部分的输入。本发明可得到更高的语音识别率。

主权项

一种基于Maxout神经元的深度双向LSTM声学模型，其特征在于，该模型包括：多个双向长短时记忆网络BLSTM层形成的多层DBLSTM深度双向长短时记忆网络、选择连接层、全连接层和隐马尔可夫模型，其中，所述多层DBLSTM深度双向长短时记忆网络用于语音识别的声学模型，所述选择连接层用于对多个双向长短时记忆网络BLSTM层的输出进行加权变换，所述全连接层用于对加权变换后的值进行非线性变换，最终得到隐马尔可夫模型所需的后验概率，所述隐马尔可夫模型用于得到语音识别概率；将语音特征输入多层DBLSTM网络进行非线性变换，得到具有上下文语音帧信息的特征矢量，多层DBLSTM网络采用CSC‑BPTT上下文敏感块的随时间反向传播训练算法进行网络参数训练；多层BLSTM网络输出的数据采用选择连接层对其进行加权变换后再作为全连接层的输入；全连接层对输入数据进行变换，全连接层部分采用Maxout单元代替原来的Sigmoid单元，并且利用Dropout正则化训练算法对其进行参数训练，再通过Softmax输出层得到声学模型中HMM模型所需的后验概率；前端DBLSTM神经网络得到后验概率后，在经过HMM模型最终输出得到声学模型得分。