[发明专利]一种基于语音识别的信息查询方法及系统、设备和存储介质

权利要求书

1.一种基于语音识别的信息查询方法，采用流式和非流式混合语音识别，其特征在于，所述方法包括：

编码步骤：输入音频数据，采用transformer编码器进行特征值提取，输出二维特征值序列；

解码步骤：基于所述二维特征值序列，采用transformer和n-gram结合的解码器进行流式语音解码及识别后，筛选输出第一次文本排序M个结果后，基于所述二维特征值序列及所述第一次文本排序M个结果，采用conformer模型进行非流式语音解码及识别，输出第二次文本排序N个结果，其中N和M为大于等于1的正整数，且N小于等于M；

赋值加权步骤：在所述解码步骤输出的文本排序结果中，基于热词词典进行赋值加权，输出最优查询结果。

2.根据权利要求1所述基于语音识别的信息查询方法，其特征在于，所述解码步骤包括：

Transformer和n-gram结合解码步骤：Transformer模型基于日常用语语料库和n-gram模型基于特定专用语料库结合进行解码识别，并采用prefixbeamsearch对解码识别结果进行筛选排序，输出所述第一次文本排序M个结果。

3.根据权利要求2所述基于语音识别的信息查询方法，其特征在于，所述解码步骤还包括：

conformer解码步骤：基于所述二维特征值序列及所述第一次文本排序M个结果，采用conformer模型进行结合语音及语境的解码和识别，输出第二次文本排序N个结果，其中N为大于等于1的正整数，且N小于等于M。

4.根据权利要求1所述基于语音识别的信息查询方法，其特征在于，赋值加权步骤包括：

遍历步骤：将所述解码步骤输出的文本排序结果，逐一与热词字典进行热词遍历匹配；

加权步骤：如果所述热词匹配成功，匹配成功的所述文本增加加权得分，最终选择得分最高的一项作为最佳输出结果。

5.一种基于语音识别的信息查询系统，采用流式和非流式混合语音识别，采用如权利要求1-4中任意一项所述基于语音识别的信息查询方法，其特征在于，所述系统包括：

编码模块：输入音频数据，采用transformer编码器进行特征值提取，输出二维特征值序列；

解码模块：基于所述二维特征值序列，采用transformer和n-gram结合的解码器进行流式语音解码及识别后，筛选输出第一次文本排序M个结果后，基于所述二维特征值序列及所述第一次文本排序M个结果，采用conformer模型进行非流式语音解码及识别，输出第二次文本排序N个结果，其中N和M为大于等于1的正整数，且N小于等于M；

赋值加权模块：在所述解码步骤输出的文本排序结果中，基于热词词典进行赋值加权，输出最优查询结果。

6.根据权利要求5所述基于语音识别的信息查询系统，其特征在于，所述解码模块包括：

Transformer和n-gram结合解码步骤：Transformer模型基于日常用语语料库和n-gram模型基于特定专用语料库结合进行解码识别，并采用prefixbeamsearch对解码识别结果进行筛选排序，输出所述第一次文本排序M个结果。

7.根据权利要求6所述基于语音识别的信息查询系统，其特征在于，所述解码模块还包括：

conformer解码步骤：基于所述二维特征值序列及所述第一次文本排序M个结果，采用conformer模型进行结合语音及语境的解码和识别，输出第二次文本排序N个结果，其中N为大于等于1的正整数，且N小于等于M。

8.根据权利要求5所述基于语音识别的信息查询系统，其特征在于，赋值加权模块包括：

遍历模块：将所述解码步骤输出的文本排序结果，逐一与热词字典进行热词遍历匹配；

加权模块：如果所述热词匹配成功，匹配成功的所述文本增加加权得分，最终选择得分最高的一项作为最佳输出结果。