[发明专利]语音频谱生成模型的训练方法、装置及电子设备

权利要求书

1.一种语音频谱生成模型的训练方法，包括：

将第一文字序列输入语音频谱生成模型，生成所述第一文字序列对应的模拟频谱序列，并根据预设损失函数，获取所述模拟频谱序列的第一损失值；

将所述第一文字序列对应的模拟频谱序列输入对抗损失函数模型，获取所述模拟频谱序列的第二损失值，所述对抗损失函数模型为生成对抗网络模型；

将所述第一损失值和所述第二损失值按照预设比例的权重，反馈至所述语音频谱生成模型，对所述语音频谱生成模型进行训练，所述语音频谱生成模型为Tacotron模型；

所述将所述第一文字序列对应的模拟频谱序列输入对抗损失函数模型，获取所述模拟频谱序列的第二损失值，包括：

将所述第一文字序列对应的模拟频谱序列输入所述对抗损失函数模型；

对输入所述对抗损失函数模型的模拟频谱序列进行N次下采样，获取每一次下采样的模拟频谱序列；

将所述每一次下采样的模拟频谱序列分别输入所述对抗损失函数模型，获取所述每一次下采样的模拟频谱序列对应的损失值；

将所述每一次下采样的模拟频谱序列对应的损失值反馈至所述对抗损失函数模型，将每一次下采样对应的损失值逐层回传至原始模拟频谱序列上，得到所述第二损失值，所述原始模拟频谱序列为所述第一文字序列对应的模拟频谱序列。

2.根据权利要求1所述的方法，其中，在所述将所述第一文字序列对应的模拟频谱序列输入对抗损失函数模型，获取所述模拟频谱序列的第二损失值之前，所述方法还包括：

获取第二文字序列对应的真实频谱序列和所述第二文字序列对应的模拟频谱序列，所述第二文字序列对应的模拟频谱序列由所述语音频谱生成模型生成；

根据所述第二文字序列对应的真实频谱序列和所述第二文字序列对应的模拟频谱序列，对所述对抗损失函数模型进行训练；

所述将所述第一文字序列对应的模拟频谱序列输入对抗损失函数模型，获取所述模拟频谱序列的第二损失值，包括：

将所述第一文字序列对应的模拟频谱序列输入训练后的所述对抗损失函数模型，获取第二损失值。

3.根据权利要求2所述的方法，其中，所述根据所述第二文字序列对应的真实频谱序列和所述第二文字序列对应的模拟频谱序列，对所述对抗损失函数模型进行训练，包括：

将所述第二文字序列对应的真实频谱序列和所述第二文字序列对应的模拟频谱序列分别输入所述对抗损失函数模型，获取第三损失值；

根据所述第三损失值，对所述对抗损失函数模型训练；

其中，所述第三损失值表征所述第二文字序列对应的模拟频谱序列相对于所述第二文字序列对应的真实频谱序列的损失。

4.根据权利要求1所述的方法，其中，所述对抗损失函数模型采用深度卷积神经网络模型。

5.一种语音频谱生成模型的训练装置，包括：

第一获取模块，用于将第一文字序列输入语音频谱生成模型，生成所述第一文字序列对应的模拟频谱序列，并根据预设损失函数，获取所述模拟频谱序列的第一损失值；

第二获取模块，用于将所述第一文字序列对应的模拟频谱序列输入对抗损失函数模型，获取所述模拟频谱序列的第二损失值，所述对抗损失函数模型为生成对抗网络模型；

第一训练模块，用于将所述第一损失值和所述第二损失值按照预设比例的权重，反馈至所述语音频谱生成模型，对所述语音频谱生成模型进行训练，所述语音频谱生成模型为Tacotron模型；

所述第二获取模块包括：

第二获取单元，用于将所述第一文字序列对应的模拟频谱序列输入所述对抗损失函数模型；

下采样单元，用于对输入所述对抗损失函数模型的模拟频谱序列进行N次下采样，获取每一次下采样的模拟频谱序列；

第三获取单元，用于将所述每一次下采样的模拟频谱序列分别输入所述对抗损失函数模型，获取所述每一次下采样的模拟频谱序列对应的损失值；

第四获取单元，用于将所述每一次下采样的模拟频谱序列对应的损失值反馈至所述对抗损失函数模型，将每一次下采样对应的损失值逐层回传至原始模拟频谱序列上，得到所述第二损失值，所述原始模拟频谱序列为所述第一文字序列对应的模拟频谱序列。