[发明专利]语音识别方法、语音识别的模型训练方法以及装置

说明书

本申请公开了一种语音识别方法、语音识别的模型训练方法及装置，涉及人工智能、深度学习和语音识别技术领域。具体实现方案为：获取待识别语音；将待识别语音输入至方言声学模型，获得与待识别语音的特征序列对应的音素后验概率分布和方言声学向量；根据特征序列对应的音素后验概率分布结合经过训练的方言统计语言模型对待识别语音进行解码，得到N个候选词序列；将N个候选词序列输入至经过训练的第一神经网络语言模型，得到N个第一文本向量，并将N个候选词序列输入至经过训练的第二神经网络语言模型，得到N个第二文本向量；根据方言声学向量、N个第一文本向量和N个第二文本向量，从N个候选词序列之中确定出待识别语音的语音识别结果。

技术领域

本申请涉及数据处理技术领域中的人工智能、深度学习和语音识别技术领域，尤其涉及一种语音识别方法、语音识别的模型训练方法、装置、电子设备和存储介质。

背景技术

通过语音识别技术，可以将语音输入转换为对应的文字输出。

由于方言具有一些特殊的语音语调特点，在对方言进行识别的时候，文字输出的准确率较低，而且容易与普通话中相似的音节混淆。

发明内容

本申请提供了一种用于语音识别的方法、语音识别的模型训练方法、装置、设备以及存储介质。

根据本申请的第一方面，提供了一种语音识别的方法，包括：

获取待识别语音；

将所述待识别语音输入至经过训练的方言声学模型，获得与所述待识别语音的特征序列对应的音素后验概率分布和方言声学向量；

根据所述特征序列对应的音素后验概率分布结合经过训练的方言统计语言模型对所述待识别语音进行解码，得到N个候选词序列；其中，N为正整数；

将所述N个候选词序列输入至经过训练的第一神经网络语言模型，得到N个第一文本向量，并将所述N个候选词序列输入至经过训练的第二神经网络语言模型，得到N个第二文本向量；以及

根据所述方言声学向量、所述N个第一文本向量和所述N个第二文本向量，从所述N个候选词序列之中确定出所述待识别语音的语音识别结果。

根据本申请的第二方面，提供了一种语音识别的装置，包括：

第一获取模块，用于获取待识别语音；

处理模块，用于将所述待识别语音输入至经过训练的方言声学模型，获得与所述待识别语音的特征序列对应的音素后验概率分布和方言声学向量；

解码模块，用于根据所述特征序列对应的音素后验概率分布结合经过训练的方言统计语言模型对所述待识别语音进行解码，得到N个候选词序列；其中，N为正整数；

生成模块，用于将所述N个候选词序列输入至经过训练的第一神经网络语言模型，得到N个第一文本向量，并将所述N个候选词序列输入至经过训练的第二神经网络语言模型，得到N个第二文本向量；以及

确定模块，用于根据所述方言声学向量、所述N个第一文本向量和所述N个第二文本向量，从所述N个候选词序列之中确定出所述待识别语音的语音识别结果。

根据本申请的第三方面，提供了一种语音识别的模型训练方法，包括：

获取普通话训练数据，所述普通话训练数据包括普通话音频样本及对应的普通话标注文本；

获取方言训练数据，所述方言训练数据包括方言音频样本及对应的方言标注文本、方言无监督音频样本；

根据所述普通话训练数据和所述方言训练数据训练声学模型；所述声学模型包括普通话音频输入层、方言音频输入层、声学共享网络层、普通话声学输出层和方言声学输出层；其中，所述方言音频输入层、所述声学共享网络层和所述方言声学输出层构成方言声学模型；