[发明专利]一种基于迁移神经网络声学模型的语音识别系统及方法

说明书

本发明涉及一种基于迁移神经网络声学模型的语音识别系统及方法，该系统包括：信号处理及特征提取模块、语言模型、解码器和迁移神经网络声学模型；其中迁移神经网络声学模型包括鲁棒神经网络和定向神经网络；本系统通过对鲁棒神经网络模型的模型参数进行固定，同时通过神经网络间的层间横向连接，将鲁棒声学模型的信息传递到目标声学模型中，不仅保留了原鲁棒声学模型的性能，同时还对目标语言做特定的优化。解决了低资源语言的鲁棒声学模型的快速构建的问题，通过利用数据充分的语言的声学模型进行模型参数迁移的方式，来提升目标低资源语言的声学模型性能以及训练的收敛速度。

技术领域

本发明涉及语音识别领域，特别涉及一种基于迁移神经网络声学模型的语音识别系统及方法。

背景技术

目前自动语音识别技术已经非常成熟了，在有些语音识别机构的技术研究下，自动语音识别系统的识别精度已经可以达到94.5％，可以说已经可以达到人类的听觉感知能力了。但是这种性能优良的自动语音识别系统仅局限于几个使用广泛的语言，比如英语、法语等。世界上有超过五千种语言被世界各地的人们使用，然而在这五千种语言中只有十种语言被广泛的使用，它们分别是：汉语、英语、俄语、西班牙语、印度语、阿拉伯语、葡萄牙语、孟加拉语、德语和日语。其他的语言，由于使用人数较少，所以很难收集他们的语音数据，相应的语音数据标注工作也相当难实施，因此相应的语音识别任务不得不面对数据稀疏的问题。

自动语音识别任务通常受制于有限的语音数据的规模，因此使用跨语言数据来提高特定的语言的语音识别性能一直是近年来的热门研究领域。由于发音的相似性，不同的语言可能会有相同的声学特性，因此低资源的语言可以共享资源充分的数据集的数据特征或者模型参数。我们可以使用一个鲁棒的声学模型来初始化一个低资源语言的声学模型，来提升目标语言的声学模型性能以及收敛速度。

传统的知识迁移的方式是预训练加再优化的方法，这种方法直接在源语言鲁棒声学模型上用目标语言的输出层替换源语言的输出层，在此基础上用目标语言的数据对模型进行再优化操作。但是这种优化方式由于不可恢复地改变了原鲁棒声学模型的模型参数，所以对于原鲁棒声学模型的应用存在一定的性能损失。

因此，如何在不改变原鲁棒声学模型参数的情况下，对目标语言声学模型能很好的优化，是同行业人员亟待解决的问题。

发明内容

本发明的目的在于，克服现有技术中用目标语言的数据对模型进行再优化，不可恢复改变了原鲁棒声学模型的模型参数，且对原鲁棒声学模型的应用存在一定性能损失的问题，提出一种基于迁移神经网络声学模型的语音识别系统及方法。

为了解决上述技术问题，第一方面，本发明实施例提供一种基于迁移神经网络声学模型的语音识别系统，包括：

信号处理及特征提取模块，用于对待识别的音频信号进行增强，将所述待识别的音频信号从时域转化到频域，并提取声学特征；

声学模型，用于以提取的声学特征为输入，生成声学模型得分；所述声学模型为迁移神经网络声学模型，包括：前端的鲁棒神经网络声学模型和后端的定向神经网络声学模型；所述鲁棒神经网络声学模型作为一个所述定向神经网络声学模型的辅助模型，使用大量源语言数据进行训练；

语言模型，用于估计通过重训练语料学习词之间的相互概率，输出语言模型得分；

解码器，用于根据给定的待识别音频信号的特征向量序列、所述声学模型得分和所述语言模型得分，将总体输出分数较高的词序列作为识别结果。

作为上述系统的一种改进，所述迁移神经网络声学模型由下述步骤训练生成，包括：

建立源语言训练集，根据源语言训练集训练源语言语音识别系统的鲁棒神经网络声学模型；

将训练后的鲁棒神经网络声学模型与定向神经网络模型进行融合，建立目标语言神经网络声学模型；