[发明专利]一种语音合成方法、装置、电子设备及存储介质

说明书

本申请提供一种语音合成方法、装置、电子设备及存储介质，其中语音合成方法包括：获取目标说话人训练数据，并提取目标说话人音色特征；在预训练数据中筛选与目标说话人的相似说话人音色特征；将训练好的预训练语音合成模型的模型参数加载至finetune语音合成模型；采用相似说话人音色特征与目标说话人音色特征共同训练finetune语音合成模型；将待合成文本输入训练好的finetune语音合成模型进行语音合成任务。通过预选构建的预训练模型，通过finetune的方式对预训练模型进行微调，以满足语音合成任务的及时性需求，极大提升了个性化语音合成模型的训练效率，进而提升了个性化语音合成任务的整体效率。

技术领域

本申请涉及语音合成技术领域，具体而言，涉及一种语音合成方法、装置、电子设备及存储介质。

背景技术

现有的语音合成算法中，对于特定的说话人语音，都是采用集合内部训练的方式实现，如果出现新的集合外的个性化语音，需要重新进行建模，并重新进行所有的模型训练，非常的耗时耗力，极大地降低了语音合成任务的效率。

发明内容

本申请实施例的目的在于提供一种语音合成方法、装置、电子设备及存储介质，用以提高语音合成任务的效率。

第一方面，本申请实施例提供一种语音合成方法，包括：获取目标说话人训练数据，并提取目标说话人音色特征；在用于对预训练语音合成模型进行训练的预训练数据中筛选与目标说话人的相似说话人音色特征；将训练好的预训练语音合成模型的模型参数加载至finetune语音合成模型；采用相似说话人音色特征与目标说话人音色特征共同训练finetune语音合成模型；将待合成文本输入训练好的finetune语音合成模型进行语音合成任务。

在上述方案的实现过程中，通过finetune的方式对预训练模型进行微调，以满足语音合成任务的及时性需求，极大提升了个性化语音合成模型的训练效率，进而提升了个性化语音合成任务的整体效率。

在第一方面的一种实现方式中，所述预训练语音合成模型为：由包含有多个说话人训练数据的预训练数据所训练的预训练多人语音合成模型。

在上述方案的实现过程中，预训练语音合成模型采用多人语音合成模型，以便在预训练数据中筛选获得与目标说话人的相似说话人音色特征后，可以直接对预训练语音合成模型进行finetune微调，以获得能够合成目标说话人声音的finetune语音合成模型，大大提高了语音合成的效率。

在第一方面的一种实现方式中，所述finetune语音合成模型为：由包含有一个目标说话人训练数据的目标说话人训练数据所训练的finetune单人语音合成模型；或者，由包含有多个目标说话人训练数据的目标说话人训练数据所训练的finetune多人语音合成模型。

在上述方案的实现过程中，finetune语音合成模型可以为单人语音合成模型，也可以为多人语音合成模型，即上述语音合成方法不仅支持单人语音合成，还支持多人语音合成，在完成对finetune语音合成模型的训练后，用户仅需选择所需要的目标说话人，即可合成该说话人的声音，使得上述语音合成方法能够适用于更多的场景，提高了上述语音合成方法的适应性。

在第一方面的一种实现方式中，在所述finetune语音合成模型为finetune多人语音合成模型时，所述在用于对预训练语音合成模型进行训练的预训练数据中筛选与目标说话人的相似说话人音色特征，包括：在所述预训练数据中的N个说话人音色特征中分别筛选M个目标说话人的相似说话人音色特征，包括：将所述N个说话人音色特征进行特征平均化处理后的平均音色特征分别作为M个目标说话人的相似说话人音色特征；或者，在所述预训练数据中的N个说话人音色特征中任意选取M个说话人音色特征作为M个目标说话人的相似说话人音色特征；或者，计算预训练数据中N个说话人与M个目标说话人音色相似度，分别将与M个目标说话人的音色相似度最大的说话人音色特征作为M个目标说话人的相似说话人音色特征。