[发明专利]一种语音识别模型的训练方法、装置及设备

权利要求书

1.一种语音识别模型的训练方法，其特征在于，所述方法包括：

将第一训练数据输入待训练编码器，所述待训练编码器包括多个依次相连的特征提取模块，所述第一训练数据包括语音数据以及所述语音数据中语音帧对应的音节标签；

由所述待训练编码器对所述语音帧的音节预测结果以及所述语音帧对应的音节标签，计算音节级别交叉熵CE损失，根据所述音节级别CE损失，对所述待训练编码器进行训练，得到各个所述特征提取模块的模型参数；

将最后一个特征提取模块的模型参数进行随机初始化，重新得到所述待训练编码器；

将第二训练数据输入所述待训练编码器，所述第二训练数据包括语音数据以及所述语音数据对应的字标签；

由所述待训练编码器对所述语音数据的字预测结果以及所述语音数据对应的字标签，计算字级别联结时间分类CTC损失，根据所述字级别CTC损失，对所述最后一个特征提取模块进行训练，得到训练完成的编码器；

利用所述训练完成的编码器对所述语音识别模型进行训练。

2.根据权利要求1所述的方法，其特征在于，当所述待训练编码器包括两个以上依次相连的特征提取模块，在根据所述音节级别CE损失，对所述待训练编码器进行训练，得到各个所述特征提取模块的模型参数之后，将最后一个所述特征提取模块的模型参数进行随机初始化，重新得到所述待训练编码器之前，所述方法还包括：

将最后两个特征提取模块的模型参数进行随机初始化，重新得到所述待训练编码器；

将所述第三训练数据输入待训练编码器，所述第三训练数据包括语音数据以及所述语音数据对应的音节标签；

由所述待训练编码器对所述语音数据的音节预测结果以及所述语音数据对应的音节标签，计算音节级别CTC损失，根据所述音节级别CTC损失，对所述最后两个特征提取模块进行训练，得到各个所述特征提取模块的模型参数。

3.根据权利要求1或2所述的方法，其特征在于，所述待训练编码器包括三个特征提取模块，第一个特征提取模块的输入为所述语音数据的声学基础特征，所述第一个特征提取模块用于提取所述语音数据的帧级别音节特征，第二个特征提取模块用于提取所述语音数据的语音路径级别音节特征。

4.根据权利要求1或2所述的方法，其特征在于，所述特征提取模块包括多个依次相连的自注意力网络；

或者，

除最后一个特征提取模块之外的特征提取模块包括多个依次相连的自注意力网络以及池化层，所述最后一个特征提取模块包括多个依次相连的自注意力网络。

5.根据权利要求4所述的方法，其特征在于，所述利用所述训练完成的编码器对所述语音识别模型进行训练，包括：

将所述训练完成的编码器中最后一个自注意力网络的模型参数进行随机初始化，生成更新后的编码器；

利用所述更新后的编码器对所述语音识别模型进行训练。

6.根据权利要求2所述的方法，其特征在于，在对所述待训练编码器进行训练、对所述最后一个特征提取模块进行训练和/或对所述最后两个特征提取模块进行训练的过程中，采用的学习率不随训练迭代次数的增加而改变。

7.根据权利要求2所述的方法，其特征在于，在对所述待训练编码器进行训练、对所述最后一个特征提取模块进行训练和/或对所述最后两个特征提取模块进行训练的过程中，采用的权重衰减大于权重衰减阈值。

8.根据权利要求2所述的方法，其特征在于，所述第一训练数据的数量、所述第二训练数据的数量以及所述第三训练数据的数量大于样本数量阈值。

9.根据权利要求2所述的方法，其特征在于，所述方法还包括：

对所述第一训练数据、所述第二训练数据和/或所述第三训练数据中的语音数据随机进行掩码。