[发明专利]基于瓶颈特征和多尺度多头注意力机制的语音识别模型建立方法

摘要

基于瓶颈特征和多尺度多头注意力机制的语音识别模型建立方法，属于建模方法领域。传统的注意力模型存在识别性能较差，注意力尺度单一等问题。一种基于瓶颈特征和多尺度多头注意力机制的语音识别模型建立方法，采用深度置信网络提取瓶颈特征作为前端，能够增加模型的鲁棒性，而后端则采用由不同尺度的卷积核组成的多尺度多头注意力模型，分别对音素、音节、词等级别的语音基元进行建模，逐个计算出循环神经网络隐含层状态序列以及输出序列；使用每个头的注意力网络所对应的解码网络计算输出序列在位置处的元素，最终将所有输出序列采整合成一个新的输出序列。本发明能够提高语音识别系统的识别效果。

主权项

1.基于瓶颈特征和多尺度多头注意力机制的语音识别模型建立方法，其特征在于：所述方法包括以下步骤：步骤一、利用输入的样本FBank语音特征向量X＝(x₁,x₂,...,x_T)对DBN中的RBM网络进行无监督训练，得到初始化编码网络中前三层连接权重矩阵W₁、W₂、W₃，由这三层连接权重矩阵和一层随机初始化权值输出层W₄组成编码网络前端的基于DBN的瓶颈特征提取网络；RBM网络表示受限玻尔兹曼机；DBN表示深度置信网络；FBank表示滤波器组；步骤二、抽取样本FBank语音特征向量X＝(x₁,x₂,...,x_T)输入至步骤一的四层瓶颈特征提取网络中，利用前向计算得到瓶颈特征提取网络输出v；然后，根据瓶颈特征提取网络的输出v和样本训练数据X的实际输出采用BP算法对瓶颈特征提取网络进行有监督训练，以计算四层的瓶颈特征提取网络的每层权值△W_t^l和偏置的梯度，再对权值和偏置进行迭代更新；步骤三、将步骤二的四层瓶颈特征提取网络最后一层输出层去掉，只保留前三层重新作为编码网络的前端，将前端输出的瓶颈特征序列(v₁,v₂,...,v_n)作为RNN的输入，此处RNN为编码网络的后端，它由两组基于GRU的多层RNN组成，分别为前向网络和后向网络；则输入的FBank语音特征向量X经过编码网络前端瓶颈特征提取网络得到瓶颈特征序列(v₁,v₂,...,v_n)，输出的瓶颈特征序列通过编码器后端基于GRU的多层RNN得到最终的输出为高层特征序列(h₁,h₂,...,h_T)；步骤四、采用多尺度多头的注意力机制将编码网络后端输出的高层特征序列(h₁,h₂,...,h_T)分别注入不同尺度的卷积核F_i中，并对音素、音节、词等级别的语音基元进行建模，从而得到各自的目标向量ct_o，再将每种模型对应的ct_o作为多尺度多头注意力网络中每个头的解码RNN网络的输入，逐个计算出RNN隐含层状态序列(s₁,s₂,...,s_o)，以及输出音素序列(y₁,y₂,...,y_o)；步骤五、使用多尺度多头注意力网络中每个头的注意力网络所对应的解码RNN网络计算输出序列(y₁,y₂,...,y_o)进行拼接得到新的输出序列(y₁,y₂,...,y_o)_i；将新的输出序列采用DNN整合成最终的输出序列(Y₁,Y₂,...,Y_o)。