[发明专利]训练声码器和语音合成的方法和装置

说明书

本公开提供了训练声码器和语音合成的方法和装置，涉及深度学习技术领域，尤其涉及语音技术领域。具体实现方案为：获取训练样本集，其中，训练样本包括语谱图、基频特征、清浊特征；从训练样本集中选取训练样本；执行如下训练步骤：将所选取的训练样本中的语谱图输入声码器，得到中间特征；将中间特征输入基频预测网络，得到基频预测值；基于所选取的训练样本中的基频特征、清浊特征、基频预测值计算损失值；若损失值小于预定阈值，则声码器训练完成。通过该实施方式能够生成解决颤音和哑音等影响声音质量的问题的声码器，从而提高语音合成的质量。

技术领域

本公开涉及深度学习技术领域，尤其涉及语音技术领域，具体为一种训练声码器和语音合成的方法和装置。

背景技术

语音合成声码器从基频、频谱等声学特征中重构语音波形，是语音合成系统中不可或缺的一部分，其中，合成语音的准确度、自然度以及合成速度是衡量声码器性能的重要指标。近年来，随着深度神经网络模型在声学建模中的成功应用，语音合成的准确度和自然度均得到了有效改善。但由于声码器的基频还原不好会导致颤音和哑音等影响声音质量的问题。

发明内容

本公开提供了一种训练声码器和语音合成的方法、装置、设备、存储介质以及计算机程序产品。

根据本公开的第一方面，提供了一种训练声码器的方法，包括：获取训练样本集，其中，训练样本包括语谱图、基频特征、清浊特征；从所述训练样本集中选取训练样本；执行如下训练步骤：将所选取的训练样本中的语谱图输入声码器，得到中间特征；将所述中间特征输入基频预测网络，得到基频预测值；基于所选取的训练样本中的基频特征、清浊特征、基频预测值计算损失值；若损失值小于预定阈值，则确定出所述声码器训练完成。

根据本公开的第二方面，提供了一种语音合成方法，包括：获取待处理的声学特征；将所述声学特征输入根据第一方面所述方法训练得到的声码器中，输出合成的语音。

根据本公开的第三方面，提供了一种训练声码器的装置，包括：获取单元，被配置成获取训练样本集，其中，训练样本包括语谱图、基频特征、清浊特征；训练单元，被配置成从所述训练样本集中选取训练样本；执行如下训练步骤：将所选取的训练样本中的语谱图输入声码器，得到中间特征；将所述中间特征输入基频预测网络，得到基频预测值；基于所选取的训练样本中的基频特征、清浊特征、基频预测值计算损失值；若损失值小于预定阈值，则确定出所述声码器训练完成。

根据本公开的第四方面，提供了一种语音合成装置，包括：获取单元，被配置成获取待处理的声学特征；合成单元，被配置成将所述声学特征输入由第三方面任一项所述装置训练得到的声码器中，输出合成的语音。

根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第二方面所述的方法。

根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面或第二方面所述的方法。

根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面或第二方面所述的方法。

本公开实施例提供的训练声码器方法和装置，利用基频预测进行声码器的辅助监督，采用插入式结构，仅用于训练阶段，不影响神经网络声码器的主体结构，不额外增加计算量。解决了颤音和哑音等影响声音质量的问题，从而提高了语音合成的质量。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：