[发明专利]语音识别模型的训练方法、语音识别方法和装置

说明书

本公开涉及一种语音识别模型的训练方法、语音识别方法和装置，所述语音识别模型包括编码器、预测子模型、语音解码器以及符号解码器，所述方法包括：根据所述编码器和所述预测子模型，获得训练语音数据对应的字符声学向量；根据所述字符声学向量和所述语音解码器，获得所述预测字符对应的输出文本和语言特征向量；根据所述字符声学向量、所述语言特征向量和所述符号解码器，确定所述预测字符对应的符号概率分布；根据所述符号概率分布和所述训练语音数据中所述预测字符对应的目标符号特征，确定目标损失；在满足更新条件的情况下，根据所述目标损失对所述语音识别模型的模型参数进行更新。由此可以提高语音识别和符号识别的准确性和实时性。

技术领域

本公开涉及计算机技术领域，具体地，涉及一种语音识别模型的训练方法、语音识别方法和装置。

背景技术

随着深度学习的兴起，各种完全依赖于神经网络进行端到端建模的方法逐渐兴起，逐步发展为自动语音识别(ASR)技术中的主流。通过自动语音识别，可直接将原始的语音数据转换为对应的文本结果。为了进一步提高文本结果的可读性，通常需要该文本结果中增加标点符号。相关技术中，可以采用离线打标点的后处理方式，即在完成语音识别后，对获得的识别结果进行标点处理。该方式需要等识别结果识别完成后，将识别结果输入一个后处理模型进行处理，使得最终的识别结果的延时较大。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种语音识别模型的训练方法，所述语音识别模型包括编码器、预测子模型、语音解码器以及符号解码器，所述方法包括：

根据所述编码器和所述预测子模型，获得训练语音数据对应的字符声学向量，其中，每一所述字符声学向量对应于所述训练语音数据的一个预测字符；

根据所述字符声学向量和所述语音解码器，获得所述预测字符对应的输出文本和语言特征向量；

根据所述字符声学向量、所述语言特征向量和所述符号解码器，确定所述预测字符对应的符号概率分布；

根据所述符号概率分布和所述训练语音数据中所述预测字符对应的目标符号特征，确定目标损失；

在满足更新条件的情况下，根据所述目标损失对所述语音识别模型的模型参数进行更新。

可选地，所述目标符号特征为独热编码特征，所述根据所述符号概率分布和所述训练语音数据中所述预测字符对应的目标符号特征，确定目标损失，包括：

根据所述符号概率分布和所述预测字符对应的目标符号特征，确定交叉熵损失；

将确定出的所述交叉熵损失作为所述目标损失。

可选地，所述根据所述目标损失对所述语音识别模型的模型参数进行更新，包括：

根据所述目标损失对所述语音识别模型中、所述符号解码器的模型参数进行更新。

可选地，所述目标符号特征为独热编码特征，所述根据所述符号概率分布和所述训练语音数据中所述预测字符对应的目标符号特征，确定目标损失，包括：

根据所述符号概率分布和所述预测字符对应的目标符号特征，确定第一交叉熵损失；

根据所述预测字符对应的目标文本与所述输出文本，确定所述语音解码器对应的第二交叉熵损失；

根据所述第一交叉熵损失和所述第二交叉熵损失确定所述目标损失。

可选地，通过以下方式确定所述训练语音数据对应的文本中每一字符对应的符号特征：

获取所述训练语音数据对应的包含标点符号的文本数据；