[发明专利]一种DNN-HMM声学模型参数迁移结构

摘要

本发明通过将一种DNN‑HMM声学模型参数迁移结构对小语料库在声学特征中的改进，具有提高声学模型对声学特征的建模能力，降低小规模数据下语音识别的词错误率和句错误率，以训练小语料库下的DNN‑HMM声学模型，并将其定义的异构模型参数迁移模型和迁移训练算法，在声学模型训练时加入异构模型参数迁移，通过将源数据训练得到的DNN模型的参数迁移到目标数据训练出来的模型中，实现DNN‑HMM异构模型的参数迁移，以此来降低语音识别的词错误率和句错误率等优点，从而有效的解决了现有技术中存在的问题和不足。

主权项

1.一种DNN‑HMM声学模型参数迁移结构，其特征在于：采用同构模型与异构模型的定义及其参数迁移方法，并将DNN‑HMM模型训练方法与异构模型参数迁移方法进行结合，得出DNN‑HMM异构模型的参数迁移训练算法；包括：(1)同构模型参数迁移；(2)异构模型参数迁移；(3)DNN‑HMM声学模型参数迁移；所述对同构模型参数迁移给出进行定义，其中定义一：模型结构，将深度神经网络的模型结构为M，M＝(N，P，F，l)，其中N是网络节点N＝{N₁，N₂，…，N_i，…，N_l}，N_i指神经网络中第i层的节点数；P＝指神经网络第i层到第i+1层的参数矩阵；指神经网络第i层到第i+1层的权值矩阵；B指偏置向量B＝{B₁，B₂，…，B_i，…，B_1‑1}，B_i指中神经网络第i层的偏置向量；F＝{g(·)，o(·)}，其中g(·)表示神经网络隐含层的激活函数，o(·)表示神经网络输出层的函数；l指网络深度；定义二：数据源，D_S＝{X_s,Y_s}和D_T＝{X_T,Y_T}，S表示源数据，T表示目标数据，X表示输入训练数据，Y表示标签数据；定义三：同构模型，指源模型M_S与目标模型M_T的N、l和F相同，表示M_S＝M_T；定义四：同构模型参数迁移：指在使用源数据D_S构建的源模型M_S中W_S和B_S替换目标数据D_T构建的目标模型M_T中的W_T和B_T，得到迁移模型tr‑M，当M_S＝M_T时，表明M_s模型中W_S和B_S与M_T模型中w_T和B_T属于同型矩阵，在进行模型参数迁移时可以直接将M_S模型中参数矩阵迁移到M_T模型参数对应的位置上；所述对异构模型参数迁移给出进行定义，其中定义五：异构模型，指源模型Ms与目标模型MT的l相同，F相同，N1到N1‑1相同，N1不相同，表示MS＜＞MT；定义六：异构模型参数迁移，指在使用源数据DS构建的源模型MS中部分WS和BS对目标数据DT构建的目标模型MT中的WT和BT进行替换，得到迁移模型tr‑M；所述DNN‑HMM声学模型参数迁移将定义的异构模型参数迁移模型和迁移训练算法，在声学模型训练时加入异构模型参数迁移，通过将源数据训练得到的DNN模型的参数迁移到目标数据训练出来的模型中，实现DNN‑HMM异构模型的参数迁移。