[发明专利]语音合成方法、模型训练方法及装置、计算机设备和车辆

说明书

提供了一种语音合成方法、模型训练方法及装置、计算机设备和车辆。语音合成方法包括：获取用于进行语音合成的目标图像和目标文本，目标图像包括作为虚拟人物形象的目标对象；将目标图像输入经训练的声音特征提取模型，以得到声音特征提取模型输出的目标对象的声音特征；以及将声音特征和目标文本输入经训练的语音合成模型，以得到语音合成模型输出的目标文本对应的目标语音。

技术领域

本公开涉及音频处理技术领域，特别是涉及一种语音合成方法及装置、声音特征提取模型的训练方法及装置、文本到语音转换TTS模型的训练方法及装置、计算机设备、车辆、计算机可读存储介质和计算机程序产品。

背景技术

语音合成，又称文语转换(Text To speech，TTS)，指的是利用电子计算机或一些专门装置来产生人造语音的技术，其能够将任意文本信息转化为语音信息并输出。

语音合成技术在人机交互场景中得到了广泛应用。例如，车载设备、智能家居设备、移动终端等电子设备可以利用语音合成技术，基于文本信息生成语音音频，并通过扬声器将生成的语音音频播报给用户，从而实现用户与电子设备之间的语音交互。

发明内容

提供一种缓解、减轻或甚至消除上述问题中的一个或多个的机制将是有利的。

根据本公开的一方面，提供了一种语音合成方法，包括：获取用于进行语音合成的目标图像和目标文本，所述目标图像包括作为虚拟人物形象的目标对象；将所述目标图像输入经训练的声音特征提取模型，以得到所述声音特征提取模型输出的所述目标对象的声音特征；以及将所述声音特征和所述目标文本输入经训练的语音合成模型，以得到所述语音合成模型输出的所述目标文本对应的目标语音。

根据本公开的一方面，提供了一种声音特征提取模型的训练方法，包括：获取样本图像和所述样本图像的标注数据，所述样本图像包括作为虚拟人物形象的样本对象，所述标注数据包括所述样本对象的样本声音特征；将所述样本图像输入所述声音特征提取模型，以得到所述声音特征提取模型输出的预测声音特征；基于所述预测声音特征和所述样本声音特征，确定所述声音特征提取模型的损失值；以及基于所述损失值，调整所述声音特征提取模型的参数。

根据本公开的一方面，提供了一种文本到语音转换TTS模型的训练方法，所述TTS模型包括声音特征提取模型和语音合成模型，所述语音合成模型包括频谱合成模块和声码模块，所述方法包括：获取样本图像、样本文本和标注数据，所述样本图像包括作为虚拟人物形象的样本对象，所述标注数据包括与所述样本文本对应的所述样本对象的样本语音；提取所述样本语音的样本语音频谱特征；基于所述样本图像、所述样本文本和所述样本语音频谱特征，联合训练所述声音特征提取模型和所述频谱合成模块；以及基于所述样本图像、所述样本文本、所述样本语音和经训练的所述声音特征提取模型和所述频谱合成模块，训练所述声码模块。

根据本公开的一方面，提供了一种语音合成装置，包括：获取单元，被配置为获取用于进行语音合成的目标图像和目标文本，所述目标图像包括作为虚拟人物形象的目标对象；提取单元，被配置为将所述目标图像输入经训练的声音特征提取模型，以得到所述声音特征提取模型输出的所述目标对象的声音特征；以及合成单元，被配置为将所述声音特征和所述目标文本输入经训练的语音合成模型，以得到所述语音合成模型输出的所述目标文本对应的目标语音。

根据本公开的一方面，提供了一种声音特征提取模型的训练装置，包括：获取单元，被配置为获取样本图像和所述样本图像的标注数据，所述样本图像包括作为虚拟人物形象的样本对象，所述标注数据包括所述样本对象的样本声音特征；提取单元，被配置为将所述样本图像输入所述声音特征提取模型，以得到所述声音特征提取模型输出的预测声音特征；确定单元，被配置为基于所述预测声音特征和所述样本声音特征，确定所述声音特征提取模型的损失值；以及调整单元，被配置为基于所述损失值，调整所述声音特征提取模型的参数。