[发明专利]用于语音合成的语音数据扩增方法及系统

说明书

本发明实施例提供一种用于语音合成的语音数据扩增方法。该方法包括：将采集的多说话人真实语音输入至风格抽取系统，得到各说话人的风格表征；将文本数据和各说话人的风格表征作为端到端建模的语音合成系统的输入，输出带有风格表征的合成语音数据；利用音频鉴别系统将合成语音数据中判定为真实场景的合成语音数据确定为扩增的语音数据。本发明实施例还提供一种用于语音合成的语音数据扩增系统。本发明实施例通过将大量多说话人、多语言、多场景的真实数据而不是棚录高音质数据用于语音合成建模丰富语音合成系统的建模能力；引入风格提取模块增强语音合成系统建模真实场景数据的能力；整体提升语音合成系统的语音合成效果。

技术领域

本发明涉及智能语音领域，尤其涉及一种用于语音合成的语音数据扩增方法、系统及电子设备和存储介质。

背景技术

语音合成，又称文语转换(Text to Speech)技术，可以实时地将任意文字信息转换成标准流利的读音，就像是给机器装上了一张人工嘴巴。它涉及声学、语言学、数字信号处理、计算机科学等诸多学科，是中文信息处理领域的前沿技术。所谓的“让机器像人类一样说话”，本质上不同于传统的播放设备(系统)。传统的声音播放设备(系统)，如磁带录音机，通过预先录制声音然后播放，从而实现“使机器说话”。这种方式在内容、存储、传输、便利性、及时性等方面都有很大的局限性。而通过计算机语音合成技术，任何时候都能把任意文本转换成具有高度自然度的语音，真正实现了机器“像人一样说话”的目的。

上述语音合成系统的训练中需要大量的不相同数据来进行模型训练，数据越多样通常意味着系统的鲁棒性越好，在此情况下常使用变语速、加噪声、加混响等方式对语音数据进行扩增，来丰富数据类型。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

传统的语音识别数据扩增方法，如变语速时，容易引入语音失真；加噪、加混响等方式由于处理方法比较简单，与真实环境下的实际情况仍存有较大误差，导致数据扩增的效果不够理想。

语音合成的目标是获得更自然、更清晰、更稳定、更接近发音人的语音数据，这种合成数据在扩增数据时往往会遇到发音人和语音信道太过单一的问题，而且由于优化目标之间没有直接的联系，使用这些扩增效果不够理想的语音数据训练语音合成系统时，常会使合成的语音效果大打折扣。

发明内容

为了至少解决现有技术中常规的语音扩增会引入失真，与真实环境的语音误差较大，致使以此训练的语音合成系统效果较差的问题。第一方面，本发明实施例提供一种用于语音合成的语音数据扩增方法，包括：

将采集的多说话人真实语音输入至风格抽取系统，得到各说话人的风格表征；

将文本数据和所述各说话人的风格表征作为端到端建模的语音合成系统的输入，输出带有风格表征的合成语音数据；

利用音频鉴别系统将所述合成语音数据中判定为真实场景的合成语音数据确定为扩增的语音数据。

第二方面，本发明实施例提供一种用于语音合成的语音数据扩增系统，包括：

风格表征确定程序模块，用于将采集的多说话人真实语音输入至风格抽取系统，得到各说话人的风格表征；

语音数据合成程序模块，用于将文本数据和所述各说话人的风格表征作为端到端建模的语音合成系统的输入，输出带有风格表征的合成语音数据；

扩增程序模块，用于利用音频鉴别系统将所述合成语音数据中判定为真实场景的合成语音数据确定为扩增的语音数据。

第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的用于语音合成的语音数据扩增方法的步骤。