[发明专利]用于语音合成的语音数据扩增方法及系统

权利要求书

1.一种用于语音合成的语音数据扩增方法，包括：

将采集的多说话人真实语音输入至风格抽取系统，得到各说话人的风格表征；

将文本数据和所述各说话人的风格表征作为端到端建模的语音合成系统的输入，输出带有风格表征的合成语音数据；

利用音频鉴别系统将所述合成语音数据中判定为真实场景的合成语音数据确定为扩增的语音数据。

2.根据权利要求1所述的方法，其中，所述多说话人真实语音包括：非录音棚音质级别下的多场景、多语言类型的多说话人真实语音；

所述将采集的多说话人真实语音输入至风格抽取系统，得到各说话人的风格表征包括：

从所述多说话人真实语音中提取至少包含说话人、信道、噪声、情绪的风格信息；

将所述真实语音中的文本与对应的说话人、信道、噪声、情绪关联，构建风格信息表，得到各说话人的风格表征，用于利用所述风格信息表为待扩增的文本数据提供对应的风格信息。

3.根据权利要求1所述的方法，其中，所述语音合成系统由文本处理模块、声学模型和声码器构成；

所述语音合成系统的训练方式包括：

将训练文本输入至所述文本处理模块，得到优化处理文本；

将训练风格表征以及所述优化处理文本输入至所述声学模型，利用所述声学模型的输出输入至所述声码器，得到模拟合成语音数据；

利用已训练的基准语音合成系统作为所述语音合成系统的教师模型，通过所述教师模型输出的基准合成语音数据与所述模拟合成语音数据对所述语音合成系统进行训练，直至所述模拟合成语音数据趋近于所述基准合成语音数据。

4.根据权利要求1所述的方法，其中，所述音频鉴别系统通过对应的真实场景训练音频和合成训练音频进行竞争学习训练；

所述利用音频鉴别系统将所述合成语音数据中判定为真实场景的合成语音数据确定为扩增的语音数据包括：

通过所述音频鉴别系统得到所述合成语音数据是否为真实场景音频的预测得分，若所述预测得分超过预设阈值时，将所述合成语音数据确定为扩增的语音数据。

5.一种用于语音合成的语音数据扩增系统，包括：

风格表征确定程序模块，用于将采集的多说话人真实语音输入至风格抽取系统，得到各说话人的风格表征；

语音数据合成程序模块，用于将文本数据和所述各说话人的风格表征作为端到端建模的语音合成系统的输入，输出带有风格表征的合成语音数据；

扩增程序模块，用于利用音频鉴别系统将所述合成语音数据中判定为真实场景的合成语音数据确定为扩增的语音数据。

6.根据权利要求5所述的系统，其中，所述多说话人真实语音包括：非录音棚音质级别下的多场景、多语言类型的多说话人真实语音；

所述风格表征确定程序模块用于：

从所述多说话人真实语音中提取至少包含说话人、信道、噪声、情绪的风格信息；

将所述真实语音中的文本与对应的说话人、信道、噪声、情绪关联，构建风格信息表，得到各说话人的风格表征，用于利用所述风格信息表为待扩增的文本数据提供对应的风格信息。

7.根据权利要求5所述的系统，其中，所述语音合成系统由文本处理模块、声学模型和声码器构成；

所述语音合成系统的训练方式包括：

将训练文本输入至所述文本处理模块，得到优化处理文本；

将训练风格表征以及所述优化处理文本输入至所述声学模型，利用所述声学模型的输出输入至所述声码器，得到模拟合成语音数据；

利用已训练的基准语音合成系统作为所述语音合成系统的教师模型，通过所述教师模型输出的基准合成语音数据与所述模拟合成语音数据对所述语音合成系统进行训练，直至所述模拟合成语音数据趋近于所述基准合成语音数据。