[发明专利]语音识别方法、装置、电子设备及存储介质

权利要求书

1.一种语音识别方法，包括：

获取待识别语音，以及所述待识别语音的隐层特征序列；

对所述隐层特征序列中的各帧隐层特征进行时序分类，以获取音节序列，并根据所述音节序列中音节所在的帧位置对所述隐层特征序列进行截断处理，得到特征片段序列；

针对所述特征片段序列中的第i个特征片段，将所述特征片段序列中第i-1个特征片段对应的文字的语义向量以及所述特征片段序列输入注意力模块，预测第i个特征片段对应的文字，其中，i为大于0且小于等于N的正整数，N为特征片段的总数量；

根据所述特征片段序列中各个特征片段对应的文字，生成所述待识别语音的识别结果；

其中，在获取待识别语音，以及所述待识别语音的隐层特征序列之前，还包括：

构建语音识别模型，其中，所述语音识别模型包括：提取隐层特征的隐层特征提取模块、进行时序分类的基于联结时序分类CTC模块、生成文字的语义向量的语言模块、以及预测特征片段对应文字的注意力模块；其中，所述语言模块的输出连接所述注意力模块的输入，所述隐层特征提取模块的输出分别连接所述基于联结时序分类CTC模块的输入和所述注意力模块的输入，所述基于联结时序分类CTC模块的输出连接所述注意力模块的输入；获取第一训练数据，其中，所述第一训练数据包括：样本语音以及对应的样本文本；采用所述第一训练数据中的样本语音以及对应的样本文本对所述语音识别模型进行训练，以获取训练好的语音识别模型；

所述针对所述特征片段序列中的第i个特征片段，结合所述特征片段序列中第i-1个特征片段对应的文字的语义向量以及所述特征片段序列，预测第i个特征片段对应的文字，包括：

获取所述特征片段序列中的前i-1个特征片段对应的文字，生成文字序列；

结合所述文字序列，获取所述文字序列中第i-1个文字的语义向量；

结合所述特征片段序列以及所述语义向量序列中第i-1个文字的语义向量，预测所述第i个特征片段对应的文字；

所述采用所述第一训练数据中的样本语音以及对应的样本文本对所述语音识别模型进行训练，以获取训练好的语音识别模型，包括：

针对每个样本语音，将所述样本语音输入所述语音识别模型的隐层特征提取模块，并将所述样本语音对应的样本文本输入所述语音识别模型的语言模块，以获取所述基于联结时序分类CTC模型输出的样本音节序列以及所述注意力模块输出的预测文本；

结合所述样本音节序列、所述预测文本、所述样本语音对应的样本文本以及预设的第一损失函数，确定第一损失函数值；所述第一损失函数值由两部分组成，一部分是音节序列损失函数，表征样本音节序列与样本文本中各个文字的实际音节之间的差异，一部分是文本损失函数，表征样本文本与预测文本之间的差异；

结合所述第一损失函数值，对所述隐层特征提取模块、所述基于联结时序分类CTC模块、所述语言模块和所述注意力模块进行参数调整。

2.根据权利要求1所述的方法，其中，所述获取第一训练数据之前，还包括：

获取第二训练数据，其中，所述第二训练数据包括：多个样本文本；

采用所述多个样本文本，对所述语音识别模型中的语言模块进行训练。

3.根据权利要求2所述的方法，其中，所述采用所述多个样本文本，对所述语音识别模型中的语言模块进行训练，包括：

针对每个样本文本，将所述样本文本中的前j-1个文字输入所述语言模块，获取所述语言模块输出的文字预测结果，其中，j为大于0且小于等于M的正整数，M为样本文本中文字的总数量；

结合所述文字预测结果、所述样本文本中的第j个文字以及预设的第二损失函数，确定第二损失函数值；

结合所述第二损失函数值对所述语言模块进行参数调整。