[发明专利]语音合成模型产品

说明书

本申请实施例提供了一种语音合成方法、神经网络模型训练方法、和语音合成模型产品。该音合成模型产品包括：编码器、解码器和声码器；编码器为基于训练完成的解码器完成训练的编码器，编码器用于从待合成文本的音素向量中预测出语音特征和语音后验图，语音后验图中携带有口音信息；解码器为训练完成的解码器，解码器用于基于语音特征和语音后验图，确定语音频谱，语音后验图用于指示每个音素对应的口音，以及每个音素持续的时长，解码器的训练先于所述编码器的训练；声码器为训练完成的声码器，声码器用于根据所述语音频谱生成待合成文本对应的目标语音，目标语音的口音与语音后验图中的口音信息匹配。

本申请是申请日为2022年4月12日、申请号为202210377265.8、发明名称为“语音合成方法、神经网络模型训练方法、和语音合成模型”的中国专利申请的分案申请。

技术领域

本申请实施例涉及神经网络技术领域，尤其涉及一种语音合成方法、神经网络模型训练方法、和语音合成模型产品。

背景技术

目前基于神经网络的端到端模型不断进步，语音合成模型的建模能力不断提高，使得合成语音的时间更短、速度更快，效果也更加鲁棒，合成的语音也越来越偏向自然发音，但是现有的语音合成模型需要庞大的数据库和大量的计算资源；另一方面，在日常生活中，受地理影响，带有重口音的方言使用范围十分广泛，但现有的语音合成模型难以合成带有口音的语音音频。

发明内容

有鉴于此，本申请实施例提供一种语音合成方案，以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种语音合成方法，包括：获取待合成文本的音素向量；从所述音素向量中预测出各音素对应的语音特征和语音后验图，所述语音后验图中携带有口音信息；根据所述语音特征和所述语音后验图，生成语音频谱；基于所述语音频谱输出与所述待合成文本对应的目标语音，所述目标语音的口音与所述口音信息匹配。

根据本申请实施例的第二方面，提供了一种语音合成模型产品，包括编码器、解码器和声码器，所述编码器用于从待合成文本的音素向量中预测出语音特征和语音后验图，所述语音后验图中携带有口音信息，所述解码器用于基于所述语音特征和所述语音后验图，确定语音频谱，所述声码器用于根据所述语音频谱生成所述待合成文本对应的目标语音，所述目标语音的口音与所述语音后验图中的口音信息匹配。

根据本申请实施例的第三方面，提供了一种神经网络模型训练方法，所述方法用于训练上述语音合成模型，所述方法包括：使用第一口音对应的音频样本对所述语音合成模型进行训练，以获得初始训练的语音合成模型；使用第二口音对应的音频样本对初始训练的所述语音合成模型进行训练，以获得二次训练的语音合成模型，所述第一口音对应的音频样本的时长大于所述第二口音对应的音频样本。

根据本申请实施例的第四方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的方法对应的操作。

根据本申请实施例的第五方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法。

根据本申请实施例的第六方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如上述的方法对应的操作。

通过这种方式可以生成真实的、非普通话口音的目标语音，从而提升可合成语音的丰富性。本实施例创新性地将语音后验图(Phonetic Posterior Grams,PPGs)应用于重口音(也就是非普通话)的语音合成中，从而实现了在使用较少的非普通话的音频的情况下进行自动的带口音的语音的合成，解决了现有技术中由于带有口音的音频不足，无法合成带口音的语音的问题。

附图说明