[发明专利]一种中英文混合语音识别方法及装置

权利要求书

1.一种中英文混合语音识别方法，其特征在于，包括：

获取语音训练样本，所述语音训练样本采样于中英文语料库，所述中英文语料库包括中文语料库、英文语料库、中英文混合语料库；

通过所述语音训练样本对LSTM-CTC端到端网络进行训练，并修改所述LSTM-CTC端到端网络的softmax层，以使所述softmax层输出的字符为Unicode编码方式；

结合CTC算法和所述softmax层的输出，构造后验概率矩阵并对所述后验概率矩阵进行训练和解码；

通过字符压缩算法对解码结果进行处理，获得所述语音识别网络模型的参数；

根据所述语音识别网络模型的参数构建所述语音识别网络模型；

将待识别语音输入所述语音识别网络模型，并通过RNN-LM语言模型对所述语音识别网络模型的输出进行处理，获得基于所述待识别语音的语音识别结果；

其中，所述RNN-LM语言模型基于所述语音训练样本输出的字符作为输入，将所述语音训练样本的文本内容作为结果，进行训练获得。

2.如权利要求1所述的中英文混合语音识别方法，其特征在于，所述LSTM-CTC端到端网络包括LSTM网络模型、CTC计算模块和字符压缩模块；

所述LSTM网络模型包括输入层、隐藏层、输出层；

所述softmax层为所述输出层；

所述LSTM网络模型中设置有跳帧学习方法和参数平滑学习方法，用于辅助所述LSTM-CTC端到端网络的训练。

3.如权利要求1所述的中英文混合语音识别方法，其特征在于，通过所述语音训练样本对LSTM-CTC端到端网络进行训练，并修改所述LSTM-CTC端到端网络的softmax层，以使所述softmax层输出的字符为Unicode编码方式，之前包括：

对所述语音训练样本依次进行时域分帧操作和FBank特征提取。

4.如权利要求3所述的中英文混合语音识别方法，其特征在于，所述时域分帧操作以20ms为一帧；

每帧包括80维的所述FBank特征；

所述FBank特征作为所述LSTM-CTC端到端网络每一时刻的输入。

5.如权利要求1所述的中英文混合语音识别方法，其特征在于，还包括：

通过所述待识别语音和基于所述待识别语音的语音识别结果对LSTM-CTC端到端网络进行训练，调整所述语音识别网络模型。

6.一种中英文混合语音识别装置，其特征在于，包括：

语音样本获取模块，用于获取语音训练样本，所述语音训练样本采样于中英文语料库；

所述中英文语料库包括中文语料库、英文语料库、中英文混合语料库；

模型训练模块，用于通过所述语音训练样本对LSTM-CTC端到端网络进行训练，并修改所述LSTM-CTC端到端网络的softmax层，以使所述softmax层输出的字符为Unicode编码方式；

语音识别网络模型获取模块，用于：结合CTC算法和所述softmax层的输出，构造后验概率矩阵并对所述后验概率矩阵进行训练和解码；

通过字符压缩算法对解码结果进行处理，获得所述语音识别网络模型的参数；

根据所述语音识别网络模型的参数构建所述语音识别网络模型；

语音识别模块，用于将待识别语音输入所述语音识别网络模型，并通过RNN-LM语言模型对所述语音识别网络模型的输出进行处理，获得基于所述待识别语音的语音识别结果；

其中，所述RNN-LM语言模型基于所述语音训练样本输出的字符作为输入，将所述语音训练样本的文本内容作为结果，进行训练获得。

7.如权利要求6所述的中英文混合语音识别装置，其特征在于，所述LSTM-CTC端到端网络包括LSTM网络模型、CTC计算模块和字符压缩模块；

所述LSTM网络模型包括输入层、隐藏层、输出层；

所述softmax层为所述输出层；

所述LSTM网络模型中设置有跳帧学习方法和参数平滑学习方法，用于辅助所述LSTM-CTC端到端网络的训练。