[发明专利]语音声学模型的训练方法、后处理方法和相关设备

权利要求书

1.一种语音声学模型的训练方法，其特征在于，包括：

获取样本数据和所述样本数据对应的标签数据；

将所述样本数据和所述标签数据作为训练数据输入第一神经网络和第二神经网络进行联合模型训练，在模型训练过程中，所述标签数据作为所述样本数据的监督学习目标，所述训练数据作为所述第一神经网络的输入，所述第一神经网络使用的损失函数为CTCloss；所述第一神经网络的输出作为所述第二神经网络的输入，所述第二神经网络使用的损失函数为统一多标签交叉熵损失函数；循环迭代联合模型训练直至模型收敛，得到所述语音声学模型；

所述将所述样本数据和所述标签数据作为训练数据输入第一神经网络和第二神经网络进行联合模型训练的步骤，包括：

将所述样本数据和所述标签数据输入所述第一神经网络，使用CTC方法计算得到第一损失值；

将所述第一神经网络输出的标签概率序列输入所述第二神经网络，使用统一多标签交叉熵损失函数计算得到第二损失值；

根据所述第一损失值和所述第二损失值的总和对所述第一神经网络的参数和所述第二神经网络的参数进行优化，循环迭代联合模型训练，直至模型收敛，得到所述语音声学模型；

所述将所述样本数据和所述标签数据输入所述第一神经网络，使用CTC方法计算得到第一损失值的步骤，包括：

对所述样本数据进行特征提取，得到声学特征序列；并对所述标签数据进行转化，得到所述标签数据中各个单音素对应的单音素向量；

将所述声学特征序列和各所述单音素向量输入所述第一神经网络，使用CTC方法计算得到所述声学特征序列和各所述单音素向量之间的第一损失值。

2.根据权利要求1所述的语音声学模型的训练方法，其特征在于，所述获取样本数据和所述样本数据对应的标签数据的步骤，包括：

获取所述样本数据，所述样本数据包括多个单词语音数据；

将各所述单词语音数据转化为音素，得到各所述单词语音数据分别对应的单词音素序列；

将各所述单词音素序列进行汇总，得到所述标签数据。

3.根据权利要求1所述的语音声学模型的训练方法，其特征在于，所述将所述第一神经网络输出的标签概率序列输入所述第二神经网络，使用统一多标签交叉熵损失函数计算得到第二损失值的步骤，包括：

对所述样本数据进行特征提取，得到声学特征序列；对所述标签数据进行转化，得到所述标签数据中各个单词音素序列对应的多音素向量；

将所述声学特征序列和各所述多音素向量输入第一神经网络进行处理，得到所述标签概率序列；

将所述标签概率序列输入所述第二神经网络，使用所述统一多标签交叉熵损失函数进行计算，得到所述第二损失值。

4.一种后处理方法，其特征在于，包括：

获取用户输入的语音数据；

将所述语音数据输入语音声学模型中，通过序列预测得到初始概率序列，并通过多标签分类得到概率向量，其中，所述语音声学模型为权利要求1—3中任一所述的语音声学模型的训练方法训练得到的模型；

将所述概率向量的各个元素与所述初始概率序列的对应行进行乘积计算，得到加权后的概率序列；

对所述概率序列进行解码，得到所述语音数据包含的内容。