[发明专利]跨语种歌曲合成方法及其装置、设备、介质、产品

权利要求书

1.一种跨语种歌曲合成方法，其特征在于，包括如下步骤：

获取目标歌曲的目标乐谱及合成配置信息，所述合成配置信息包括歌曲演唱语种、目标音高对象以及目标音色对象；

根据所述歌曲演唱语种调用其相对应的音素词典对所述目标乐谱进行编码，获得目标歌曲的音素特征信息和音序特征信息，所述音素词典包含其相应的语种的音素与编码数值之间的映射关系；

采用预训练的声学模型，根据歌曲合成特征信息进行编解码，获得梅尔频谱信息，所述歌曲合成特征信息包含所述音素特征信息、音序特征信息、对应所述目标音高对象生成的音高特征信息以及对应所述目标音色对象生成的预设音色特征信息；

采用声码器将所述梅尔频谱信息转换为目标歌曲相对应的音频数据。

2.根据权利要求1所述的跨语种歌曲合成方法，其特征在于，根据所述歌曲演唱语种调用其相对应的音素词典对所述目标乐谱进行编码，获得目标歌曲的音素特征信息和音序特征信息，包括如下步骤：

根据所述歌曲演唱语种，从音素词典库中确定与该演唱语种相对应的音素词典，所述音素词典库包含不同演唱语种相对应的多个音素词典；

根据所述目标乐谱中的歌词文本对应所述演唱语种的歌词发音标注信息中的各个音素，从所述音素词典中查找所述各个音素相对应的编码数值，构造出所述歌词相对应的音素特征信息；

根据所述各个音素的位置信息编码出与所述音素特征信息相对应的音序特征信息。

3.根据权利要求1所述的跨语种歌曲合成方法，其特征在于，采用预训练的声学模型，根据歌曲合成特征信息进行编解码，获得梅尔频谱信息之前，包括如下步骤：

根据所述目标乐谱中的旋律标注信息生成目标歌曲的音符特征信息；

将所述目标歌曲的音符特征信息、音素特征信息以及音序特征信息输入预训练的匹配所述目标对象的控制参数的音高生成模型，以生成所述目标音高对象的音高特征信息；

根据所述目标音色对象从预设的音色特征库中调用该目标音色对象的音色特征信息；

将所述音素特征信息、音序特征信息、目标音高对象的音高特征信息以及目标音色对象的音色特征信息拼接为歌曲合成特征信息。

4.根据权利要求1所述的跨语种歌曲合成方法，其特征在于，采用预训练的声学模型，根据歌曲合成特征信息进行编解码，获得梅尔频谱信息，包括如下步骤：

采用声学模型中的编码网络对歌曲合成特征信息集进行编码处理，获得编码后的编码特征向量；

对编码后的编码特征向量进行降采样处理，得到降采样后的编码特征向量；

采用注意力机制对降采样后的编码特征向量进行特征重组处理，得到根据上下文信息重组后的编码特征向量；

采用声学模型中的解码网络对重组后的编码特征向量进行解码处理，得到梅尔频谱信息。

5.根据权利要求4所述的跨语种歌曲合成方法，其特征在于，采用声学模型中的解码网络对重组后的编码特征向量进行解码处理，得到梅尔频谱信息之后，还包括如下步骤：

采用残差预估网络对从解码网络得到的音频数据的梅尔频谱信息进行残差预估处理，得到残差信息；

基于残差信息对该音频数据的梅尔频谱信息进行修正，得到修正后的梅尔频谱信息。

6.根据权利要求1至5中任意一项所述的跨语种歌曲合成方法，其特征在于，采用声码器将所述梅尔频谱信息转换为目标歌曲相对应的音频数据，包括如下步骤：

获得所述声学模型输出的对应目标歌曲人声演唱部分的第一音频数据；

获取目标歌曲相对应的背景音乐的第二音频数据；

提取所述背景音乐与所述目标歌曲的目标乐谱所共同遵循的乐曲基础信息，所述乐曲基础信息包括演奏时速、拍号以及调号；

根据所述乐曲基础信息，将所述第一音频数据与所述第二音频数据合成为目标歌曲相对应的音频数据；

输出所述目标歌曲相对应的音频数据。