[发明专利]语音识别以及模型训练方法、装置、设备和存储介质

权利要求书

1.一种语音识别模型训练方法，所述方法包括：

获取目标用户对应的第一样本语音数据以及所述第一样本语音数据对应的第一参考语音识别结果；

获取更新前的目标模型，所述更新前的目标模型包括目标语音提取模型、目标特征提取模型以及目标语音识别模型，所述目标特征提取模型桥接在所述目标语音提取模型以及所述目标语音识别模型之间；

将所述第一样本语音数据输入到所述更新前的目标模型中，以利用所述目标语音提取模型、所述目标特征提取模型以及所述目标语音识别模型进行语音识别，得到第一模型输出结果；

根据所述第一模型输出结果以及所述第一参考语音识别结果得到所述目标特征提取模型对应的第一模型损失值；

根据第一训练语音数据以及所述第一样本语音数据对应的第一参考语音数据得到第二模型损失值；所述第一训练语音数据，是将所述第一样本语音数据输入到所述目标语音提取模型中进行语音提取所得到的数据；

根据所述第一模型损失值以及所述第二模型损失值计算得到所述目标特征提取模型对应的目标模型损失值；

根据所述目标模型损失值对所述更新前的目标模型中的目标特征提取模型的模型参数进行更新，得到更新后的目标模型，以利用所述更新后的目标模型对所述目标用户的语音数据进行语音识别。

2.根据权利要求1所述的方法，其特征在于，所述利用所述目标语音提取模型、所述目标特征提取模型以及所述目标语音识别模型进行语音识别，得到第一模型输出结果包括：

将所述第一样本语音数据输入到所述目标语音提取模型中进行语音提取，得到第一训练语音数据；

将所述第一训练语音数据输入到所述目标特征提取模型中进行特征提取，得到第一训练特征；

将所述第一训练特征输入到所述目标语音识别模型中进行语音识别，得到第一模型输出结果。

3.根据权利要求2所述的方法，其特征在于，所述目标语音识别模型包括编码模型以及解码模型，所述编码模型用于进行特征编码，得到表示语意的编码特征，所述解码特征用于对编码特征进行解码，得到语音识别结果。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一模型损失值以及所述第二模型损失值计算得到所述目标特征提取模型对应的目标模型损失值包括：

根据所述第一模型损失值以及对应的第一权重、所述第二模型损失值以及对应的第二权重进行加权求和计算，得到所述目标特征提取模型对应的目标模型损失值。

5.根据权利要求1所述的方法，其特征在于，所述获取更新前的目标模型的步骤包括：

获取训练用户对应的第二样本语音数据以及所述第二样本语音数据对应的第二参考语音识别结果，组成训练样本；

根据所述训练样本对第一语音提取模型、第一特征提取模型以及第一语音识别模型进行联合训练，得到所述更新前的目标模型，其中联合训练时根据联合损失值进行模型参数的更新，所述联合损失值根据所述第一语音提取模型对应的模型损失值以及所述第一语音识别模型对应的模型损失值确定。

6.根据权利要求5所述的方法，其特征在于，所述第一语音识别模型的得到步骤包括：

获取训练用户对应的第三样本语音数据对应的各个训练音频帧，以及所述训练音频帧对应的目标音素类别；

利用初始语音识别模型的编码模型提取得到各个所述训练音频帧对应的编码特征；

根据所述目标音素类别的训练音频帧对应的编码特征得到各个所述目标音素类别对应的音素类别中心向量；

根据所述训练音频帧对应的编码特征与对应的音素类别中心向量的差异确定中心损失值；

根据所述中心损失值调整所述初始语音识别模型中的模型参数，得到所述第一语音识别模型。

7.根据权利要求1所述的方法，其特征在于，所述根据所述目标模型损失值对所述更新前的目标模型中的目标特征提取模型的模型参数进行更新，得到更新后的目标模型包括：

从所述目标特征提取模型的最后一层开始，根据所述目标模型损失值对所述目标特征提取模型的模型参数进行反向梯度更新，直至更新到所述目标特征提取模型的第一层停止参数更新，得到更新后的目标模型。