[发明专利]语音识别方法及相关装置、电子设备、存储介质

权利要求书

1.一种语音识别方法，其特征在于，包括：

获取待识别语音所属的目标语种，并获取若干语系各自的语音识别模型；其中，所述若干语系基于若干归类方式中任一种对样本语音集合中各个样本语音所标注的样本子词序列进行分析得到，所述若干归类方式至少包括对所述样本子词序列进行特征聚类，各所述语系的语音识别模型分别由各所述语系的样本语音子集合训练得到，且各所述语系的样本语音子集合由所述样本语音集合基于归类得到的若干语系划分得到；

基于所述目标语种所属语系对应的语音识别模型，对所述待识别语音进行识别，得到所述待识别语音的识别文本。

2.根据权利要求1所述的方法，其特征在于，所述获取若干语系各自的语音识别模型，包括：

基于所述语系的样本语音子集中所述样本语音各语音帧的样本声学特征，得到所述样本语音的声学特征序列；

基于所述声学特征序列进行编码，得到编码特征序列，并基于所述编码特征序列进行特征量化，得到量化特征序列，以及基于所述编码特征序列进行上下文表征，得到上下文特征序列；

基于所述上下文特征序列进行解码，得到预测子词序列；

基于所述量化特征序列与所述上下文特征序列之间的对比损失，以及所述预测子词序列相较于所述样本子词序列的预测损失，调整所述语系的语音识别模型的网络参数。

3.根据权利要求2所述的方法，其特征在于，在训练各所述语系的语音识别模型之前，基于若干语种的语音数据预训练得到语音特征提取网络，且语音特征提取网络与解码网络组成所述语音识别模型，且所述语音特征提取网络用于执行所述编码和所述上下文表征，所述解码网络用于执行所述解码。

4.根据权利要求2所述的方法，其特征在于，所述基于所述编码特征序列进行特征量化，得到量化特征序列，包括：

基于预训练的码本对所述编码特征序列中所述各语音帧的样本编码特征进行特征量化，得到所述量化特征序列；其中，所述量化特征序列包含所述各语音帧的样本量化特征；

在所述基于所述编码特征序列进行上下文表征，得到上下文特征序列之前，所述方法还包括：

对所述编码特征序列中至少一个语音帧的样本编码特征进行遮蔽；

所述基于所述编码特征序列进行上下文表征，得到上下文特征序列，包括：

基于遮蔽后的编码特征序列中所述各语音帧的样本编码特征进行上下文表征，得到所述上下文特征序列；其中，所述上下文特征序列包含所述各语音帧的样本上下文特征。

5.根据权利要求2所述的方法，其特征在于，所述基于所述量化特征序列与所述上下文特征序列之间的对比损失，以及所述预测子词序列相较于所述样本子词序列的预测损失，调整所述语系的语音识别模型的网络参数，包括：

基于第一权重、第二权重分别对所述对比损失、所述预测损失进行加权，得到所述语系的样本语音子集合中所述样本语音在所述语音识别模型上的子损失；其中，所述第一权重不大于所述第二权重；

基于所述语系的样本语音子集合中至少一个样本语音分别对应的子损失，调整所述语系的语音识别模型的网络参数。

6.根据权利要求1所述的方法，其特征在于，所述语系的语音识别模型在每轮训练过程中基于样本语音批次进行训练，所述样本语音批次从所述语系的样本语音子集合选取得到，且在每轮训练所述语系的语音识别模型过程中，所述方法还包括：

基于权重预测模型预测所述样本语音批次中各所述样本语音的损失权重；

基于所述样本语音批次中各所述样本语音的损失权重，对所述样本语音批次中各所述样本语音的子损失进行加权，得到本轮训练所述语音识别模型的训练损失；其中，所述语音识别模型在本轮训练，基于所述训练损失调整网络参数；

获取参数调整后的语音识别模型在验证集上的验证损失；

基于所述训练损失和所述验证损失之间的分布差异，调整所述权重预测模型的网络参数。