[发明专利]语音合成模型的训练方法、装置、设备及存储介质

说明书

本申请公开了一种语音合成模型的训练方法、装置、设备及存储介质，涉及人工智能领域。方法包括：通过文本编码器得到样本隐藏文本表征；基于样本隐藏文本表征和样本声学特征，通过第一解码器得到第一发音时长和第一预测声学特征；基于样本隐藏文本特征，通过时长预测器得到第二发音时长；基于对第一发音时长进行上采样处理得到的样本隐藏文本扩展表征，通过第二解码器得到第二预测声学特征；基于第一发音时长、第二发音时长、样本声学特征、第一预测声学特征和第二预测声学特征，训练文本编码器、时长预测器、第一解码器和第二解码器；基于训练好的文本编码器、时长预测器和第二解码器构建语音合成模型。本方案有助于提升语音合成模型的训练效果。

技术领域

本申请实施例涉及人工智能领域，特别涉及一种语音合成模型的训练方法、装置、设备及存储介质。

背景技术

语音合成是指将文本转化为音频的过程，该过程中，通常利用语音合成模型进行语音合成。

相关技术中，在训练语音合成模型时，需要进行多次独立训练，使得语音合成模型的训练流程割裂，训练流程繁琐且无法实现融合训练的优势，合成的音频较为生硬、自然度不高。

发明内容

本申请实施例提供了一种语音合成模型的训练方法、装置、设备及存储介质。所述技术方案如下：

一方面，本申请实施例提供了一种语音合成模型的训练方法，所述方法包括：

通过文本编码器对样本文本进行编码，得到样本隐藏文本表征；

基于所述样本隐藏文本表征以及所述样本文本对应的样本声学特征，通过第一解码器进行时长预测以及解码，得到所述样本隐藏文本表征对应的第一发音时长以及第一预测声学特征；

基于所述样本隐藏文本特征，通过时长预测器进行时长预测，得到第二发音时长；

基于所述第一发音时长对所述样本隐藏文本表征进行上采样处理，得到样本隐藏文本扩展表征；

通过第二解码器对所述样本隐藏文本扩展表征进行解码，得到第二预测声学特征；

将所述第一发音时长作为所述第二发音时长的监督，以及将所述样本声学特征作为所述第一预测声学特征和所述第二预测声学特征的监督，采用端到端方式训练所述文本编码器、所述时长预测器、所述第一解码器以及所述第二解码器；

基于训练得到的所述文本编码器、所述时长预测器以及所述第二解码器构建语音合成模型。

另一方面，本申请实施例提供了一种语音合成模型的训练装置，所述装置包括：

文本编码模块，用于通过文本编码器对样本文本进行编码，得到样本隐藏文本表征；

第一解码模块，用于基于所述样本隐藏文本表征以及所述样本文本对应的样本声学特征，通过第一解码器进行时长预测以及解码，得到所述样本隐藏文本表征对应的第一发音时长以及第一预测声学特征；

时长预测模块，用于基于所述样本隐藏文本特征，通过时长预测器进行时长预测，得到第二发音时长；

上采样模块，用于基于所述第一发音时长对所述样本隐藏文本表征进行上采样处理，得到样本隐藏文本扩展表征；

第二解码模块，用于通过第二解码器对所述样本隐藏文本扩展表征进行解码，得到第二预测声学特征；

训练模块，用于将所述第一发音时长作为所述第二发音时长的监督，以及将所述样本声学特征作为所述第一预测声学特征和所述第二预测声学特征的监督，采用端到端方式训练所述文本编码器、所述时长预测器、所述第一解码器以及所述第二解码器；

模型构建模块，用于基于训练得到的所述文本编码器、所述时长预测器以及所述第二解码器构建语音合成模型。