[发明专利]语音合成方法、装置、介质以及电子设备

权利要求书

1.一种语音合成方法，其特征在于，包括：

获取待合成文本的音素序列以及所述音素序列对应的目标韵律信息，所述目标韵律信息是在所述待合成文本所属的第一语种下的韵律信息；

根据所述音素序列、所述目标韵律信息、第一说话人在所述第一语种下的说话向量以及第二说话人的音色向量，合成目标语音，所述目标语音表征所述第二说话人根据所述第一语种说出所述待合成文本的语音。

2.根据权利要求1所述的语音合成方法，其特征在于，所述根据所述音素序列、所述目标韵律信息、第一说话人在所述第一语种下的说话向量以及第二说话人的音色向量，合成目标语音，包括：

根据所述第一说话人在所述第一语种下的所述说话向量，确定所述音素序列中每个音素的时长，得到目标时长序列；

根据所述目标时长序列和所述第二说话人的所述音色向量，得到音频特征；

根据声学模型对所述音频特征进行处理，合成所述目标语音。

3.根据权利要求1所述的语音合成方法，其特征在于，所述第一语种包括多个，所述获取待合成文本的音素序列以及所述音素序列对应的目标韵律信息，包括：

提取所述待合成文本中每个所述第一语种的文本的音素，得到所述音素序列；

根据训练好的目标韵律预测模型对所述待合成文本进行处理，得到与每个所述第一语种对应的韵律预测模型输出的在该第一语种下的所述待合成文本的韵律信息；所述目标韵律预测模型包括与每个所述第一语种对应的韵律预测模型；

在每个所述第一语种下的所述待合成文本的韵律信息中，提取所述待合成文本中每个所述第一语种的文本的韵律信息，得到所述待合成文本的初始韵律信息；

基于所述音素序列将所述初始韵律信息扩展至对应的音素级别，得到所述音素序列对应的所述目标韵律信息。

4.根据权利要求3所述的语音合成方法，其特征在于，所述目标韵律预测模型基于如下方式训练得到：

获取多个所述第一语种中每个对应的第一训练文本，所述第一训练文本包括用于表征所述第一训练文本的韵律信息的标签；

针对每个所述第一语种对应的所述第一训练文本，根据该第一语种对应的韵律预测模型对所述第一训练文本的向量进行处理，得到所述第一训练文本的预测韵律信息；以及根据所述预测韵律信息和所述第一标签的差异，得到与该第一语种对应的韵律预测模型的损失函数值；

根据每个所述第一语种对应的所述韵律预测模型的所述损失函数值，确定所述目标韵律预测模型的第一目标损失函数值；

基于所述第一目标损失函数值迭代更新所述目标韵律预测模型的参数，以减小所述第一目标损失函数值，直至得到训练好的所述目标韵律预测模型。

5.根据权利要求3所述的语音合成方法，其特征在于，所述第一语种的文本包括中文文本和非中文文本，在所述得到所述待合成文本的初始韵律信息之后，所述方法还包括：

在所述非中文文本后为所述中文文本的情况下，将所述待合成文本的初始韵律信息中与该非中文文本对应的边界调确定为降调。

6.根据权利要求2所述的语音合成方法，其特征在于，根据训练好的语音合成模型执行所述根据所述第一说话人在所述第一语种下的所述说话向量，确定所述音素序列中每个音素的时长，得到目标时长序列至得到音频特征的步骤；

训练好的所述语音合成模型包括编码模型和音长预测模型，所述根据所述第一说话人在所述第一语种下的所述说话向量，确定所述音素序列中每个音素的时长，得到目标时长序列，包括：

融合所述音素序列和所述目标韵律信息，得到目标音素序列；

根据所述编码模型对所述目标音素序列进行编码，得到第一向量；

根据所述音长预测模型对所述说话向量和所述第一向量进行处理，得到所述目标时长序列。

7.根据权利要求6所述的语音合成方法，其特征在于，训练好的所述语音合成模型还包括解码模型，所述根据所述目标时长序列和所述第二说话人的所述音色向量，得到音频特征，包括：

根据所述解码模型对所述目标时长序列和所述音色向量进行解码，得到所述音频特征。