[发明专利]基于多任务模型的语音识别与关键词检测装置和方法

权利要求书

1.一种基于多任务模型的语音识别与关键词检测装置，其特征在于，包括：一个神经网络；一个语音识别解码器，一个关键词解码器；

所述神经网络的输入端连接输入音频数据，所述神经网络具有多个节点，各所述神经网络的各节点具有权值；

所述神经网络的输出端形成的输出数据分别连接到所述语音识别解码器和所述关键词解码器；

基于多任务模型的语音识别与关键词检测装置还包括训练模块；

在训练阶段，所述训练模块采用第一输入音频数据、第一文本标签以及第一CTC损失函数对所述语音识别解码器和所述神经网络进行训练，所述训练模块采用所述第一输入音频数据、第二文本标签以及第二CTC损失函数对所述关键词解码器和所述神经网络进行训练，在训练过程中，将所述第一CTC损失函数的输出进行反向传播实现对所述神经网络的各节点的权值更新训练以及对所述语音识别解码器的训练，将所述第二CTC损失函数的输出进行反向传播实现对所述神经网络的各节点的权值更新训练以及对所述关键词解码器的训练，在训练结束后得到所述神经网络的各节点最终权值；

所述第一文本标签为所述第一输入音频数据中出现的所有词组成的文本标签，所述第二文本标签为所述第一输入音频数据中出现的关键词组成的文本标签；

所述第一CTC损失函数输出所述语音识别解码器的输出信号和所述第一文本标签之间的差值；

所述第二CTC损失函数输出所述关键词解码器的输出信号和所述第二文本标签之间的差值。

2.如权利要求1所述的基于多任务模型的语音识别与关键词检测装置，其特征在于：所述基于多任务模型的语音识别与关键词检测装置还包括推理模块；

在推理阶段，内容未知的第二输入音频数据输入到所述神经网络，所述语音识别解码器对所述神经网络的输出数据进行解码并得到语音识别分数，所述关键词解码器对所述神经网络的输出数据进行解码并得到关键词解码分数；

基于所述语音识别分数和所述关键词解码分数，所述基于多任务模型的语音识别与关键词检测装置输出对所述第二输入音频数据的内容进行预测的预测结果数据。

3.如权利要求1所述的基于多任务模型的语音识别与关键词检测装置，其特征在于：所述输入音频数据在输入到所述神经网络之前经过特征处理。

4.如权利要求3所述的基于多任务模型的语音识别与关键词检测装置，其特征在于：所述特征处理为通过短时傅里叶变化抽取所述输入音频数据的频谱特征。

5.如权利要求3所述的基于多任务模型的语音识别与关键词检测装置，其特征在于：基于语音识别分数和关键词解码分数的和，所述基于多任务模型的语音识别与关键词检测装置输出预测结果数据。

6.如权利要求1所述的基于多任务模型的语音识别与关键词检测装置，其特征在于：所述神经网络为循环神经网络。