[发明专利]跨语种歌曲合成方法及其装置、设备、介质、产品

说明书

本申请公开一种跨语种歌曲合成方法及其装置、设备、介质、产品，所述方法包括：获取目标歌曲的目标乐谱及合成配置信息，所述合成配置信息包括歌曲演唱语种、目标音高对象以及目标音色对象；根据所述歌曲演唱语种调用其相对应的音素词典对所述目标乐谱进行编码，获得目标歌曲的音素特征信息和音序特征信息；采用声学模型，根据歌曲合成特征信息进行编解码，获得梅尔频谱信息，所述歌曲合成特征信息包含音素特征信息、音序特征信息、所述目标音高对象的音高特征信息以及所述目标音色对象的音色特征信息；采用声码器将梅尔频谱信息转换为目标歌曲。本申请可实现跨语种的歌曲合成服务，利用同一声学模型按需服务于多种演唱语种的目标歌曲的合成。

技术领域

本申请涉及音频处理技术领域，尤其涉及一种跨语种歌曲合成方法及其相应的装置、计算机设备、计算机可读存储介质，以及计算机程序产品。

背景技术

目前，歌曲合成技术通常采用神经网络模型来实现，具体是采用预训练的声学模型和声码器来实现，其基本原理均是根据相关乐谱将多种声学特征结合来获得相应的歌唱音频数据。

一方面，由于声学模型需经预训练，而相关的歌曲版权费用比较高昂，因此，歌曲合成高昂的实现成本为相应的技术实现提取更高要求，一个好的技术实现方案，有利于节约相应的训练成本是关键。

另一方面，一种现实需求中，常希望能够针对同一歌曲合成出不同演唱语种的歌曲，例如，用户希望基于自身的音色演唱同一歌曲的不同语种的版本，在传统技术框架下，需要采用利用不语种训练的声学模型分别为用户合成歌曲，而不同语种分别训练的声学模型，其所需的训练样本的成本以及训练过程中的种种困难可想而知。

此外，现有技术中，各种语言的声学模型各自为政，无法实现跨语种服务，为在线音乐合成带来了接口调度方面的不便，且也无法保证合成歌曲的音质的一致性，可能出现不同语种的声学模型所获得的合成歌曲的音质完全不同的效果，会造成用户困扰。

综上可见，在处理不同语种的歌曲合成方面，现有的歌曲合成技术，仍有提升的空间。

发明内容

本申请的首要目的在于解决上述问题至少之一而提供一种跨语种歌曲合成方法及其相应的装置、计算机设备、计算机可读存储介质、计算机程序产品，以实现辅助音乐创作。

为满足本申请的各个目的，本申请采用如下技术方案：

适应本申请的目的之一而提供的一种跨语种歌曲合成方法，包括如下步骤：

获取目标歌曲的目标乐谱及合成配置信息，所述合成配置信息包括歌曲演唱语种、目标音高对象以及目标音色对象；

根据所述歌曲演唱语种调用其相对应的音素词典对所述目标乐谱进行编码，获得目标歌曲的音素特征信息和音序特征信息，所述音素词典包含其相应的语种的音素与编码数值之间的映射关系；

采用预训练的声学模型，根据歌曲合成特征信息进行编解码，获得梅尔频谱信息，所述歌曲合成特征信息包含所述音素特征信息、音序特征信息、对应所述目标音高对象生成的音高特征信息以及对应所述目标音色对象生成的预设音色特征信息；

采用声码器将所述梅尔频谱信息转换为目标歌曲相对应的音频数据。

深化的实施例中，根据所述歌曲演唱语种调用其相对应的音素词典对所述目标乐谱进行编码，获得目标歌曲的音素特征信息和音序特征信息，包括如下步骤：

根据所述歌曲演唱语种，从音素词典库中确定与该演唱语种相对应的音素词典，所述音素词典库包含不同演唱语种相对应的多个音素词典；

根据所述目标乐谱中的歌词文本对应所述演唱语种的歌词发音标注信息中的各个音素，从所述音素词典中查找所述各个音素相对应的编码数值，构造出所述歌词相对应的音素特征信息；

根据所述各个音素的位置信息编码出与所述音素特征信息相对应的音序特征信息。