[发明专利]基于迁移学习的民航陆空语音识别模型训练方法及系统

说明书

本发明公开了一种基于迁移学习的民航陆空语音识别模型训练方法及系统，所述方法包括：获取通用领域的数据集并处理得到声学特征；收集民航领域的数据集，再扩充训练文本并处理得到声学特征；初始化基于卷积神经网络的端到端语音识别模型的神经网络；采用通用领域的语音信号声学特征对语音识别模型进行训练得到预训练模型；获取迁移学习训练数据集；将初始化神经网络的语音识别模型的模型参数输入预训练模型中；采用迁移学习训练数据集对预训练模型进行训练，得到民航陆空通话语音识别模型。本发明能使语音识别模型在有限标注样本的数据集上也能显著提升识别率，进而提升飞行安全。

技术领域

本发明涉及民航无线电陆空通话领域，具体是基于迁移学习的民航陆空语音识别模型训练方法及系统。

背景技术

近年来，随着民航事业的高速发展，运输航空的飞行活动量逐年增长，民航业务也日益繁重。民航无线电陆空通话联系着空中和地面，传递着管制员和机组之间的指令信息，其与日常说话方式不同，是根据民航飞机运行特点开创的一种半人工语言。在中国，民航无线电陆空通话使用环境更加复杂，在《空中交通陆空对话用语标准》中，民航局对通话做了很多规定，例如数字的读法，7读为拐，0读为洞等。

为了避免在陆空通话过程中由于通话内容不正确、语言模糊等原因造成陆空通话错误，目前已采用语音识别模型来辅助管制员甚至替代管制员进行陆空通话，以此来减少陆空安全事故。语音识别模型需采用大量的民航陆空通话标注样本进行训练，以适应民航无线电陆空通话的使用环境，提升民航陆空通话语音指令的识别率，进而提升飞行安全性。然而，现有可供语音识别模型训练的民航陆空通话标注样本较少，而采用人为数据标注提供训练样本的方式开销巨大，这严重影响到了语音识别模型在民航陆空通话领域的推广应用。

发明内容

本发明的目的在于解决现有应用于民航陆空通话的语音识别模型因成本或标注样本较少而不能得到有效训练的问题，提供了一种基于迁移学习的民航陆空语音识别模型训练方法，其应用时采用有限的民航陆空通话标注样本训练语音识别模型，且能使语音识别模型在有限标注样本的数据集上也能显著提升识别率。

本发明的目的主要通过以下技术方案实现：基于迁移学习的民航陆空语音识别模型训练方法，包括以下步骤：

获取通用领域数据集，并进行数据处理得到通用领域的语音信号声学特征；

收集民航领域数据集，生成训练文本，再依据民航领域数据集的特点扩充训练文本，并进行数据处理得到民航领域的语音信号声学特征；

初始化基于卷积神经网络的端到端语音识别模型的神经网络，并保存模型参数；

采用通用领域的语音信号声学特征对初始化神经网络的语音识别模型进行训练，直至模型的损失达到设定阈值范围内时停止训练，得到预训练模型；

将通用领域的语音信号声学特征与民航领域的语音信号声学特征按设定比例融合，得到迁移学习训练数据集；

将初始化神经网络的语音识别模型的模型参数输入预训练模型中，作为预训练模型的初始参数；

采用迁移学习训练数据集对预训练模型进行训练，调小模型学习率并微调网络所有层的参数，最终得到民航陆空通话语音识别模型。其中，通用领域数据集为开放域数据集，其数据为源域数据，民航领域数据集的数据作为目标域的数据。

由于民航陆空通话领域现有数据过少，本发明通过收集开放域数据集并做数据处理，初始化神经网络并保存模型参数，采用经初始化神经网络的语音识别模型在开放域进行模型训练，得到预训练模型，再融合源域和目标域的数据，使用一个较小的学习率对模型进行训练，得到民航陆空通话语音识别模型。本发明采用基于迁移学习的方法能有效利用该民航领域外的数据，提升在目标域语音识别的准确度，同时也能确保模型在开放域语音识别具有较高的准确率。采用本发明的方法能够解决无线电陆空通话领域语料不足的问题，提高无线电陆空通话的准确率。