[发明专利]一种语音识别方法、装置和电子设备

权利要求书

1.一种语音识别方法，其特征在于，所述方法包括：

获取待识别语音数据的多帧声学特征；

从所述多帧声学特征，按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块；

以N个音频帧块为音频帧组合，输入语音识别模型进行处理；所述语音识别模型包括编码器，所述编码器具有基于连接时序分类CTC准则训练的输出层；通过所述编码器提取所述音频帧组合的隐层特征；以及通过所述编码器的输出层和预设的加权有限状态转换器WFST网络，对所述音频帧组合中的目标音频帧块的隐层特征进行解码，得到所述目标音频帧块的语音识别结果，其中，所述N为大于等于1的整数，当N大于或等于2时，音频帧组合包括N个连续的音频帧块。

2.根据权利要求1所述的方法，其特征在于，所述预设规则为基于语音识别场景，动态设置音频长度的规则。

3.根据权利要求1所述的方法，其特征在于，所述从所述多帧声学特征，按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块，包括：

采用滑动窗口，从所述多帧声学特征按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块。

4.根据权利要求1所述的方法，其特征在于，所述以N个音频帧块为音频帧组合，输入端到端语音识别模型进行处理，包括：

以连续的历史音频帧块、目标音频帧块、未来音频帧块作为音频帧组合，输入端到端语音识别模型进行处理。

5.根据权利要求1所述的方法，其特征在于，所述通过所述编码器的输出层和预设的WFST网络，对所述音频帧组合中的目标音频帧块的隐层特征进行解码，得到所述目标音频帧块的语音识别结果，包括：

采用所述编码器的输出层，对所述目标音频帧块的隐层特征按照非自回归解码方式进行解码，得到字序列；

采用编码有语言模型的WFST网络对所述字序列进行解码，得到候选识别结果；

根据所述候选识别结果，确定所述目标音频帧块的语音识别结果。

6.根据权利要求5所述的方法，其特征在于，所述采用编码有语言模型的WFST网络对所述字序列进行解码，得到候选识别结果，包括：

将所述字序列输入所述WFST网络进行解码；所述WFST网络基于语言模型、词典模型、输出映射模型构建；所述语言模型用于判断词序列是否符合语法，以及该词序列出现的概率；所述词典模型，用于将词序列映射为字序列；所述输出映射模型用于将所述输出层输出的字序列射到单字；

获得所述WFST网络输出的多个候选语句和所述多个候选语句对应的评分。

7.根据权利要求1所述的方法，其特征在于，通过如下方式训练所述语音识别模型：

获取样本语音数据和所述样本语音数据对应的文本标注；

从所述样本语音数据的多帧声学特征截取预设长度的音频帧，得到音频帧块；

以N个音频帧块为音频帧组合，确定多个音频帧组合；其中，所述N为大于等于1的整数，当N大于或等于2时，音频帧组合包括N个连续的音频帧块；

将多个所述音频帧组合作为语音识别模型的编码器的输入；所述语音识别模型包括编码器和解码器；通过所述编码器分别提取各个所述音频帧组合的隐层特征；通过所述编码器的输出层，基于各个所述音频帧组合中的目标音频帧块的隐层特征预测输出结果；以及根据所述编码器的输出结果和所述文本标注，按照CTC准则计算误差；

将各个所述音频帧组合中的目标音频帧块的隐层特征以及所述文本标注，作为所述解码器的输入，通过所述解码器基于所述隐层特征和所述文本标注进行预测，并通过所述解码器的输出层预测输出结果，以及根据所述解码器的输出结果和所述文本标注，按照注意力准则计算误差；

基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练。