[发明专利]语音声学模型的训练方法、后处理方法和相关设备

说明书

本申请提供了一种语音声学模型的训练方法、后处理方法和相关设备，在进行模型训练时，将基于CTC的语音序列预测任务（即第一神经网络的处理任务）和基于多标签分类任务（即第二神经网络的处理任务）结合，进行多任务学习（即联合模型训练），从而有效优化语音声学模型的识别效果。在此基础上，使用训练所得的语音声学模型进行后处理时，用多标签分类的输出来调整序列预测任务输出的概率分布特征，从而将序列预测任务输出中可能漏掉的部分内容加权放大，使其更容易被识别解码出来，从而简化了解码所需的计算，大幅度降低对硬件设备的资源需求。

技术领域

本申请涉及语音识别技术领域，特别涉及一种语音声学模型的训练方法、后处理方法和相关设备。

背景技术

智能语音的很多任务中都要用到“声学模型”，比如语音识别和关键词识别。语音识别一般包含声学模型和语言模型两个模块，其中声学模型用于识别，语言模型用于解码。现有语音识别为了保证具有较高的识别效果，其声学模型和语言模型的体量都比较大，无法应用于资源有限的硬件设备。

发明内容

本申请的主要目的为提供一种语音声学模型的训练方法、后处理方法和相关设备，旨在解决现有的语音识别的声学模型和语音模型体量较大的弊端。

为实现上述目的，本申请提供了一种语音声学模型的训练方法，包括：

获取样本数据和所述样本数据对应的标签数据；

将所述样本数据和所述标签数据作为训练数据输入第一神经网络和第二神经网络进行联合模型训练，在模型训练过程中，所述标签数据作为所述样本数据的监督学习目标，所述训练数据作为所述第一神经网络的输入，所述第一神经网络模型使用的损失函数为CTC loss；所述第一神经网络的输出作为所述第二神经网络的输入，所述第二神经网络使用的损失函数为统一多标签交叉熵损失函数；循环迭代联合模型训练直至模型收敛，得到所述语音声学模型。

本申请还提供了一种后处理方法，包括：

获取用户输入的语音数据；

将所述语音数据输入语音声学模型中，通过序列预测得到初始概率序列，并通过多标签分类得到概率向量，其中，所述语音声学模型为如上所述的语音声学模型的训练方法训练得到的模型；

将所述概率向量的各个元素与所述初始概率序列的对应行进行乘积计算，得到加权后的概率序列；

对所述概率序列进行解码，得到所述语音数据包含的内容。

本申请还提供了一种语音声学模型的训练装置，包括：

第一获取模块，用于获取样本数据和所述样本数据对应的标签数据；

训练模块，用于将所述样本数据和所述标签数据作为训练数据输入第一神经网络和第二神经网络进行联合模型训练，在模型训练过程中，所述标签数据作为所述样本数据的监督学习目标，所述训练数据作为所述第一神经网络的输入，所述第一神经网络模型使用的损失函数为CTC loss；所述第一神经网络的输出作为所述第二神经网络的输入，所述第二神经网络使用的损失函数为统一多标签交叉熵损失函数；循环迭代联合模型训练直至模型收敛，得到所述语音声学模型。

本申请还提供了一种命令词的识别装置，包括：

第二获取模块，用于获取用户输入的语音数据；

预测模块，用于将所述语音数据输入语音声学模型中，通过序列预测得到初始概率序列，并通过多标签分类得到概率向量，其中，所述语音声学模型为如上所述的语音声学模型的训练方法训练得到的模型；

加权模块，用于将所述概率向量的各个元素与所述初始概率序列的对应行进行乘积计算，得到加权后的概率序列；

解码模块，用于对所述概率序列进行解码，得到所述语音数据包含的内容。