[发明专利]模型联合训练方法、装置、计算机设备和存储介质

说明书

本申请提供一种模型联合训练方法、装置、计算机设备和存储介质，包括：构建音频训练数据的第一声学特征矩阵；将所述第一声学特征矩阵输入至编码网络得到第一高维特征矩阵；将所述第一高维特征矩阵输入至解码网络得到第二声学特征矩阵；将所述第二声学特征矩阵输入至所述编码网络得到第二高维特征矩阵；将所述第一高维特征矩阵以及第二高维特征矩阵分别输入至分类网络中，并基于反向传播算法，调整所述编码网络、解码网络以及分类网络的网络参数，得到训练完成的唤醒模型以及降噪模型。本申请中，解码网络输出第二声学特征矩阵增加了训练样本的数据量，联合训练唤醒模型以及降噪模型，效果比单独训练模型时的效果好，且训练速度快，训练成本低。

技术领域

本申请涉及人工智能技术领域，特别涉及一种模型联合训练方法、装置、计算机设备和存储介质。

背景技术

目前训练唤醒模型和降噪模型，一般基于采集的干净语音数据集以及采集的噪声数据集。在训练的时候，进行模拟真实场景的数据增强技术来增加训练数据的多样性，提升模型在真实场景的抗噪能力。

想要得到一个效果好的降噪模型，训练时需要的训练数据实际上要比训练唤醒模型需要的数据多的多。当训练数据有限时，只有带噪语音或者只有少量的干净语音时，无法得到一个好的降噪模型；直接训练唤醒模型能够取得的效果比较有限，唤醒模型的效果也很难进一步提升。

发明内容

本申请的主要目的为提供一种模型联合训练方法、装置、计算机设备和存储介质，旨在克服目前训练数据少时训练得到的模型效果差的缺陷。

为实现上述目的，本申请提供了一种模型联合训练方法，包括以下步骤：

构建音频训练数据的第一声学特征矩阵；

将所述第一声学特征矩阵输入至编码网络得到第一高维特征矩阵；

将所述第一高维特征矩阵输入至解码网络得到第二声学特征矩阵；

将所述第二声学特征矩阵输入至所述编码网络得到第二高维特征矩阵；

将所述第一高维特征矩阵以及第二高维特征矩阵分别输入至分类网络中，并基于反向传播算法，调整所述编码网络、解码网络以及分类网络的网络参数，得到训练完成的唤醒模型以及降噪模型；其中，所述编码网络与所述分类网络构成唤醒模型，所述编码网络与所述解码网络构成降噪模型。

进一步地，所述分类网络包括全连接层以及softmax函数，所使用的损失函数是交叉熵损失函数。

进一步地，所述将所述第一高维特征矩阵以及第二高维特征矩阵分别输入至分类网络中，并基于反向传播算法，调整所述编码网络、解码网络以及分类网络的网络参数，得到训练完成的唤醒模型以及降噪模型的步骤，包括：

将所述第一高维特征矩阵以及第二高维特征矩阵输入至所述全连接层计算之后，基于所述损失函数计算交叉熵损失值；

使用梯度下降的反向传播算法，调整所述编码网络、解码网络以及分类网络的网络参数，以最小化所述交叉熵损失值；

当迭代训练之后，所述交叉熵损失值不再下降时，模型收敛得到训练完成的所述的唤醒模型以及降噪模型。

进一步地，所述音频训练数据包括正样本音频以及负样本音频；

所述构建音频训练数据的第一声学特征矩阵的步骤之前，包括：

获取噪声语音，作为所述负样本音频；

获取纯净唤醒语音；其中，所述纯净唤醒语音为不带噪声且携带有唤醒词的纯净语音；

按照预设的信噪比，将所述纯净唤醒语音与所述噪声语音进行混合，得到带噪的唤醒语音，作为所述正样本音频。

本申请还提供了一种模型联合训练装置，包括：