[发明专利]语音合成方法及相关装置、电子设备和存储介质

权利要求书

1.一种语音合成方法，其特征在于，包括：

获取待合成文本、第一语音属性和第二语音属性；其中，所述第一语音属性包括情感类别、风格类别中至少一者，所述第二语音属性包括说话人标识；

获取具有所述第一语音属性的全局韵律特征，并基于所述待合成文本、所述第一语音属性和所述第二语音属性进行预测，得到局部韵律特征；其中，所述全局韵律特征包含句子级韵律特征信息，所述局部韵律特征包含字词级韵律特征信息；

基于所述待合成文本、所述全局韵律特征和所述局部韵律特征进行合成，得到合成语音。

2.根据权利要求1所述的方法，其特征在于，所述合成语音基于语音合成模型合成得到，所述语音合成模型基于样本数据训练得到，所述样本数据包括标注有样本语音属性的样本语音和所述样本语音对应的样本文本，且所述全局韵律特征基于参考样本语音的样本全局韵律特征得到，所述参考样本语音为具有所述第一语音属性的样本语音。

3.根据权利要求2所述的方法，其特征在于，所述获取具有所述第一语音属性的全局韵律特征，包括以下任一者：

融合各个所述参考样本语音的样本全局韵律特征，得到所述全局韵律特征；

将第一目标样本语音的样本全局韵律特征，作为所述全局韵律特征；

将第二目标样本语音的样本全局韵律特征，作为所述全局韵律特征；

其中，所述第一目标样本语音、所述第二目标样本语音均从所述参考样本语音选择得到，且所述第一目标样本语音对应的样本文本与所述待合成文本之间的文本相似度满足第一条件，所述第二目标样本语音关于所述第一语音属性的呈现强度满足第二条件。

4.根据权利要求2所述的方法，其特征在于，所述语音合成模型包括全局韵律提取网络，且所述全局韵律提取网络用于提取样本全局韵律特征，所述样本语音属性至少包括样本第一语音属性，所述全局韵律提取网络的训练步骤包括：

提取所述样本语音的第一样本全局韵律特征；

基于所述第一样本全局韵律特征和所述样本语音对应的样本文本，合成得到第一样本合成语音，并基于所述第一样本全局韵律特征进行预测，得到所述样本语音的预测第一语音属性，以及提取所述第一样本合成语音的第二样本全局韵律特征；

基于所述预测第一语音属性与所述样本第一语音属性之间的差异，以及所述第一样本全局韵律特征与所述第二样本全局韵律特征之间的差异，至少调整所述全局韵律提取网络的网络参数。

5.根据权利要求1所述的方法，其特征在于，所述合成语音基于语音合成模型合成得到，且所述语音合成模型包括局部韵律预测网络，所述局部韵律预测网络用于基于所述待合成文本、所述第一语音属性和所述第二语音属性直接预测得到所述局部韵律特征。

6.根据权利要求5所述的方法，其特征在于，所述语音合成模型还包括局部韵律提取网络，所述语音合成模型基于样本数据训练得到，所述样本数据包括标注有样本语音属性的样本语音和所述样本语音对应的样本文本，且所述局部韵律预测网络在所述局部韵律提取网络训练收敛之后基于所述样本数据训练得到。

7.根据权利要求6所述的方法，其特征在于，所述样本语音属性至少包括样本第二语音属性，所述局部韵律提取网络的训练步骤包括：

提取所述样本语音的第一样本局部韵律特征，并提取所述样本文本的第一文本特征；

基于所述第一样本局部韵律特征进行预测，得到所述样本语音的预测第二语音属性，并基于所述第一样本局部韵律特征和所述样本语音对应的样本文本，合成得到第二样本合成语音，以及提取所述第二样本合成语音的第二样本局部韵律特征；

基于所述预测第二语音属性和所述样本第二语音属性之间的差异、所述第一样本局部韵律特征和所述第一文本特征之间的差异，以及所述第一样本局部韵律特征和所述第二样本局部韵律特征之间的差异，至少调整所述局部韵律提取网络的网络参数。