[发明专利]一种基于迁移神经网络声学模型的语音识别系统及方法

权利要求书

1.一种基于迁移神经网络声学模型的语音识别系统，其特征在于，包括：

信号处理及特征提取模块，用于对待识别的音频信号进行增强，将所述待识别的音频信号从时域转化到频域，并提取声学特征；

声学模型，用于以提取的声学特征为输入，生成声学模型得分；所述声学模型为迁移神经网络声学模型，包括：前端的鲁棒神经网络声学模型和后端的定向神经网络声学模型；所述鲁棒神经网络声学模型作为一个所述定向神经网络声学模型的辅助模型，使用大量源语言数据进行训练；

语言模型，用于估计通过重训练语料学习词之间的相互概率，输出语言模型得分；

解码器，用于根据给定的待识别音频信号的特征向量序列、所述声学模型得分和所述语言模型得分，将总体输出分数较高的词序列作为识别结果。

2.如权利要求1所述的基于迁移神经网络声学模型的语音识别系统，其特征在于，所述迁移神经网络声学模型由下述步骤训练生成，包括：

建立源语言训练集，根据源语言训练集训练源语言语音识别系统的鲁棒神经网络声学模型；

将训练后的鲁棒神经网络声学模型与定向神经网络模型进行融合，建立目标语言神经网络声学模型；

将所述定向神经网络的模型参数进行初始化，调整所述鲁棒神经网络声学模型与定向神经网络声学模型之间的连接权重系数；

建立目标语言训练集，固定所述鲁棒神经网络模型参数，根据所述目标语言训练集优化所述目标语言神经网络声学模型的定向神经网络模型参数；

生成迁移神经网络声学模型。

3.如权利要求2所述的基于迁移神经网络声学模型的语音识别系统，其特征在于，将所述定向神经网络的模型参数进行初始化，调整所述鲁棒神经网络声学模型与定向神经网络声学模型之间的连接权重系数，包括：

将所述鲁棒神经网络对应层的输出乘以权重系数与所述定向神经网络对应层的输出乘以权重系数进行相加；

将所述相加的结果送入所述定向神经网络的下一层进行前向计算，公式为：

其中β为鲁棒神经网络的权重系数，和分别为鲁棒神经网络和定向神经网络的第i-1层的输出，为定向神经网络第i层的输入，W_i⁽²⁾为定向神经网络第i-1层和第i层之间的连接权重，f为激活函数。

4.如权利要求2所述的基于迁移神经网络声学模型的语音识别系统，其特征在于，建立目标语言训练集，固定所述鲁棒神经网络模型参数，根据所述目标语言训练集优化所述目标语言神经网络声学模型的定向神经网络模型参数，包括：

建立目标语言训练集，固定所述迁移神经网络声学模型中鲁棒神经网络部分的模型参数，根据目标语言训练集对所述迁移神经网络声学模型中定向神经网络部分的模型参数进行更新调优；

所述模型参数调优方式是基于交叉熵代价函数的随机梯度下降方法对模型参数进行更新优化，交叉熵用于度量两个概率分布变量(P_L(s_i|x_t))和(P(s_i|x_t))的相似度：

其中：

上式中P_L(s_i|x_t)表示t时刻的特征x_t对应的声学状态s_i的概率，当输出状态的序号i与标注状态的序号lable相同时，P_L(s_i|x_t)的概率值定义为1，其他声学状态的概率为0；L表示交叉熵损失函数的值，p(s_i|x_t)表示，声学模型预测的t时刻的特征x_t对应声学状态为s_i的概率值；

所述目标语言数据同时送入迁移神经网络中鲁棒神经网络和定向神经网络部分，输出目标语音特征的后验概率，用于解码，得到识别出的语音，与原始语音进行比较后，进行前向反馈，得到训练后的迁移神经网络声学模型。