[发明专利]一种语音合成方法、装置、计算机设备及存储介质

权利要求书

1.一种语音合成方法，其特征在于，所述方法包括：

获取待合成文本对应的目标情感类别和目标情感强度；

根据多个预设情感类别分别对应的情感令牌、所述目标情感类别以及所述目标情感强度，确定所述待合成文本的情感特征；任一情感令牌用于表征对应预设情感类别的特征；

根据所述待合成文本的文本特征和所述情感特征，确定所述待合成文本的情感文本特征；

根据所述情感文本特征合成所述待合成文本符合所述目标情感类别以及所述目标情感强度的情感语音。

2.根据权利要求1所述的方法，其特征在于，所述根据多个预设情感类别分别对应的情感令牌、所述目标情感类别以及所述目标情感强度，确定所述待合成文本的情感特征，包括：

将所述目标情感类别和所述目标情感强度输入情感语音合成模型中的情感控制网络，由所述情感控制网络基于所述目标情感类别和所述目标情感强度，对所述多个预设情感类别分别对应的情感令牌进行加权，得到所述待合成文本的情感特征；所述预设情感类别对应的情感令牌是在对所述情感语音合成模型的训练过程中得到的。

3.根据权利要求2所述的方法，其特征在于，所述情感语音合成模型是对参考模型进行训练得到的，所述参考模型包括声学网络以及情感网络；所述方法还包括：

获取训练样本对，所述训练样本对包括样本数据以及所述样本数据对应的标签数据，所述样本数据包括样本文本以及样本音频，所述标签数据包括所述样本数据对应的情感类别标签；

获取所述样本音频的样本梅尔频谱图，并将所述样本梅尔频谱图输入所述情感网络，得到样本情感特征以及所述多个预设情感类别分别对应的情感令牌的权重；

将所述样本文本以及所述样本情感特征输入所述声学网络，得到所述样本文本的预测梅尔频谱图；

根据所述预测梅尔频谱图、所述样本梅尔频谱图、所述情感类别标签、以及所述多个预设情感类别分别对应的情感令牌的权重，对所述参考模型进行训练，得到训练后的参考模型，并根据所述训练后的参考模型确定情感语音合成模型。

4.根据权利要求3所述的方法，其特征在于，所述情感网络包括情感提取网络以及情感表征网络；所述将所述样本梅尔频谱图输入所述情感网络，得到样本情感特征以及所述多个预设情感类别分别对应的情感令牌的权重，包括：

将所述样本梅尔频谱图输入所述情感提取网络进行特征提取，得到所述样本音频的全局情感特征；

将所述全局情感特征输入所述情感表征网络进行特征提取，得到所述样本音频在所述多个预设感情类别下的样本情感特征，以及所述多个预设情感类别分别对应的情感令牌的权重。

5.根据权利要求4所述的方法，其特征在于，所述声学网络包括编码网络和解码网络；所述将所述样本文本以及所述样本情感特征输入所述声学网络，得到所述样本文本的预测梅尔频谱图，包括：

对所述样本文本进行文本转音素处理，得到所述样本文本对应的样本音素序列；

将所述样本音素序列输入所述编码网络进行编码处理，得到所述样本文本的样本文本特征；

根据所述样本情感特征和所述样本文本特征，得到样本情感文本特征；

将所述样本情感文本特征输入所述解码网络进行解码处理，得到所述样本文本的预测梅尔频谱图。

6.根据权利要求5所述的方法，其特征在于，所述根据所述样本情感特征和所述样本文本特征，得到样本情感文本特征，包括：

从所述情感提取网络的输出中获取样本权重序列；所述样本权重序列的序列长度与所述样本音素序列的序列长度相同，所述样本权重序列中的每个样本权重用于表征所述样本音素序列中相应音素对情感表征的贡献程度；

对所述样本权重序列进行向量嵌入，得到针对所述样本权重序列的样本权重嵌入向量；

根据所述样本情感特征、所述样本文本特征以及所述样本权重嵌入向量，得到样本情感文本特征。