[发明专利]一种语音合成模型训练方法、装置及电子设备

说明书

本发明公开了一种语音合成模型训练方法、装置及电子设备，所述方法包括：根据语音合成任务采集对应的训练数据，采用所述训练数据与语音合成任务对应的训练方式训练语音合成模型；所述语音合成模型包括：编码器、主解码器、N个次级解码器和说话人判别器；所述主解码器将编码器输出的特征信息解析为不包含说话人信息的声学特征，所述说话人判别器判别主解码器输出的声学特征来自哪个说话人，每个次级解码器分别与所述主解码器相连。本发明可以同时进行多说话人语音合成、纠正带有文本错误的数据集、还可以进行小数据迁移等多个语音合成任务，满足不同的语音合成需求，从而无需对每个语音合成任务单独进行模型创建和训练，提高模型训练的效率。

技术领域

本发明涉及语音处理技术领域，具体而言，涉及一种语音合成模型训练方法、装置、电子设备及计算机可读介质。

背景技术

语音合成，又称文语转换(Text to Speech)技术，能将任意文字信息实时转化为标准流畅的语音朗读出来，相当于给机器装上了人工嘴巴。语音合成利用某一个音色的语音数据作为训练数据构造模型，实现文本转语音的功能。在语音合成时，首先需要对输入的文本进行处理，包括预处理、分词、词性标注、注音、韵律层级预测等，然后通过语音合成模型生成某一音色的特征，最后利用特征直接通过声码器合成声音或者从录音语料库中挑选单元进行拼接。

在语音合成领域，会有多种不同的语音合成任务，比如：实时率稿的多说话人语音合成、修正训练数据中的文本错、小数据迁移等。目前，对于不同的语音合成任务，需要单独创建和训练对应的语音合成模型，因此，亟需一种语音合成模型的训练方法，能够同时处理不同的语音合成任务。

发明内容

有鉴于此，本发明主要目的在于提出一种语音合成模型训练方法、装置、电子设备及计算机可读介质，以期至少部分地解决上述技术问题中的至少之一。

为了解决上述技术问题，本发明第一方面提出一种语音合成模型训练方法，所述方法包括：

根据语音合成任务采集对应的训练数据，所述训练数据包括：历史语音数据和对应的历史文本数据；

采用所述训练数据与语音合成任务对应的训练方式训练语音合成模型；

其中，所述语音合成模型包括：编码器、主解码器、N个次级解码器和说话人判别器；

所述主解码器将编码器输出的特征信息解析为不包含说话人信息的声学特征，所述说话人判别器判别主解码器输出的声学特征来自哪个说话人，每个次级解码器分别与所述主解码器相连。

根据本发明一种优选实施方式，所述语音合成模型为深度学习网络，所述主解码器和所述说话人判别器之间还包括梯度反转层，在训练深度学习网络时，所述梯度反转层将梯度的方向转置，以达到对抗学习的目的。

根据本发明一种优选实施方式，所述语音合成任务为多说话人语音合成，对应的训练数据为：多个说话人的历史语音数据和对应的历史文本数据；

对应的训练方式为：将所述历史文本数据输入所述编码器，并将不同说话人的历史语音数据分别输入不同的次级解码器中，训练所述语音合成模型。

根据本发明一种优选实施方式，所述语音合成任务为修正错误文本数据，对应的训练数据为：正确历史文本数据和至少一个错误历史文本数据；

对应的训练方式为：将正确历史文本数据和所述至少一个错误历史文本数据分别输入不同的次级解码器中训练所述语音合成模型。

根据本发明一种优选实施方式，所述语音合成任务为数据迁移，对应的训练数据为：第一场景的多个说话人标准数据和第二场景的多个说话人小数据；所述标准数据的数量大于第一数据量，所述小数据的数量小于第二数据量；

对应的训练方式为：

基于所述多个说话人标准数据训练所述语音合成模型；