[发明专利]语音识别模型的训练方法、语音识别方法、装置、介质及设备

说明书

本公开涉及一种模型的训练方法、语音识别方法、装置、介质及设备，所述语音识别模型包括编码器、CIF预测子模型和CTC预测子模型，所述方法包括：根据所述编码器对训练语音数据进行编码，获得所述训练语音数据对应的声学向量序列；根据所述声学向量序列和所述CIF预测子模型，获得所述训练语音数据对应的信息量序列；根据所述声学向量序列和所述CTC预测子模型，获得目标概率序列；根据所述信息量序列和所述目标概率序列，确定所述语音识别模型的目标损失；在满足更新条件的情况下，根据所述目标损失对所述语音识别模型的模型参数进行更新。由此，可以保证模型的损失的准确性，实现对多任务学习的知识的综合应用，可以提高模型更新的准确度。

技术领域

本公开涉及计算机技术领域，具体地，涉及一种模型的训练方法、语音识别方法、装置、介质及设备。

背景技术

随着深度学习的兴起，各种完全依赖于神经网络进行端到端建模的方法逐渐兴起。在进行语音识别时，由于输入的语音数据和输出的文本数据的长度不同，可以通过对齐算法进行序列对齐映射的方式进行语音识别。相关技术中，为了提高模型对语音识别的准确度，通常会采用多任务学习的方式对模型进行训练，然而在相关技术中，通常是基于对齐算法的预测知识作用于编码模块，仅可以在对数据进行编码的过程中应用到该学习到的知识，难以实现对多任务学习的知识的综合应用，影响语音识别模型的训练效率。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种语音识别模型的训练方法，所述语音识别模型包括编码器、CIF预测子模型和CTC预测子模型，所述方法包括：

根据所述编码器对训练语音数据进行编码，获得所述训练语音数据对应的声学向量序列，所述声学向量序列包含所述训练语音数据的每一音频帧的声学向量；

根据所述声学向量序列和所述CIF预测子模型，获得所述训练语音数据对应的信息量序列，其中，所述信息量序列包含每一所述音频帧的目标信息量；

根据所述声学向量序列和所述CTC预测子模型，获得目标概率序列，其中，所述目标概率序列中包含每一所述音频帧对应的目标文本概率；

根据所述信息量序列和所述目标概率序列，确定所述语音识别模型的目标损失；

在满足更新条件的情况下，根据所述目标损失对所述语音识别模型的模型参数进行更新。

可选地，所述根据所述声学向量序列和所述CIF预测子模型，获得所述训练语音数据对应的信息量序列，包括：

将所述声学向量序列输入所述CIF预测子模型，获得预测信息量序列，其中，所述预测信息量序列包含每一所述音频帧对应的预测信息量；

对所述预测信息量序列中的每一所述音频帧对应的预测信息量进行归一化处理，获得每一所述音频帧对应的目标信息量，以获得所述信息量序列。

可选地，所述根据所述声学向量序列和所述CTC预测子模型，获得目标概率序列，包括：

将所述声学向量序列输入所述CTC预测子模型，获得每一所述音频帧对应的预测概率分布；

针对每一所述音频帧，将该音频帧对应的预测概率分布中对应于目标字符的概率之和，确定为所述音频帧的文本概率；

对每一所述音频帧对应的文本概率进行归一化处理，获得所述音频帧对应的目标文本概率，以获得所述目标概率序列。

可选地，所述根据所述信息量序列和所述目标概率序列，确定所述语音识别模型的目标损失，包括：