[发明专利]基于迁移学习的民航陆空语音识别模型训练方法及系统

权利要求书

1.基于迁移学习的民航陆空语音识别模型训练方法，其特征在于，包括以下步骤：

获取通用领域数据集，并进行数据处理得到通用领域的语音信号声学特征；

收集民航领域数据集，生成训练文本，再依据民航领域数据集的特点扩充训练文本，并进行数据处理得到民航领域的语音信号声学特征；

初始化基于卷积神经网络的端到端语音识别模型的神经网络，并保存模型参数；

采用通用领域的语音信号声学特征对初始化神经网络的语音识别模型进行训练，直至模型的损失达到设定阈值范围内时停止训练，得到预训练模型；

将通用领域的语音信号声学特征与民航领域的语音信号声学特征按设定比例融合，得到迁移学习训练数据集；

将初始化神经网络的语音识别模型的模型参数输入预训练模型中，作为预训练模型的初始参数；

采用迁移学习训练数据集对预训练模型进行训练，调小模型学习率并微调网络所有层的参数，最终得到民航陆空通话语音识别模型；其中，得到民航陆空通话语音识别模型时，通过不断最小化损失函数得到新权值矩阵，进而得到最终模型，所述损失函数采用CTC损失函数，其Loss函数L(S)定义如下：

其中，L(S) 表示训练集的损失函数，p(z│x)代表给定输入x，输出序列z的概率，S为训练集。

2.根据权利要求1所述的基于迁移学习的民航陆空语音识别模型训练方法，其特征在于，将数据集处理得到语音信号声学特征包括以下步骤：

将数据集中的语音格式进行解码得到语料库；

检测语料库中语音活性，并切除语音首尾静音部分，得到语音数据；

将语音数据依次经过预加重、分帧、加窗、离散傅里叶变换后得到语音信号声学特征。

3.根据权利要求1所述的基于迁移学习的民航陆空语音识别模型训练方法，其特征在于，所述依据民航领域数据集的特点扩充训练文本包括以下步骤：

根据民航陆空通话特点，设置场景，分析陆空通话的典型指令，再设计为语音识别的语句范式，扩充为训练文本。

4.根据权利要求1所述的基于迁移学习的民航陆空语音识别模型训练方法，其特征在于，所述初始化基于卷积神经网络的端到端语音识别模型的神经网络时，采用ReLU激活函数配置神经网络隐层。

5.根据权利要求1所述的基于迁移学习的民航陆空语音识别模型训练方法，其特征在于，所述通用领域数据集定义为：

其中，D(S)表示通用领域数据集，为源域，x_i表示输入特征，y_i表示输入特征对应的标签数据，n为通用领域数据集的数据总量，i为n个数据中的第i个数据；

采用通用领域的语音信号声学特征对初始化神经网络的语音识别模型进行训练时，通过预训练确定神经网络权值矩阵，进而得到预训练模型。