[发明专利]一种语音合成方法、装置和用于语音合成的装置

说明书

本发明实施例提供了一种语音合成方法、装置和用于语音合成的装置。其中的方法包括：获取音频训练数据，音频训练数据包括不同音色特征以及不同情感特征的音频数据；根据音频训练数据训练语音合成模型，所述语音合成模型包括不同音色特征的音频训练数据训练得到的音色模型参数，以及不同情感特征的音频训练数据训练得到的韵律模型参数；将待合成的文本数据、至少一个说话人标识、以及情感标识输入语音合成模型，通过语音合成模型输出语音合成数据，语音合成数据包含说话人标识对应的音色特征以及情感标识对应的情感特征。本发明实施例可以合成不同音色特征以及不同情感特征组合的目标音频，可以扩展语音合成模型的适用范围。

技术领域

本发明涉及语音处理技术领域，尤其涉及一种语音合成方法、装置和用于语音合成的装置。

背景技术

随着深度学习的发展，语音合成技术进入到端到端的发展阶段。端到端的语音合成模型能够基于输入的文本，直接输出与该文本对应的语音。

语音合成技术广泛应用在智能问答、语音播报、有声读物、虚拟主播等场景中。端到端的语音合成技术合成的语音情感较为单一，在某些场景下，需要合成同一个说话人不同情感的语音。这就需要针对每个说话人，分别使用每个说话人录制的不同情感的语音作为训练数据，分别生成用于合成一个说话人的单一情感的语音合成模型，不仅训练开销大，而且语音合成模型仅可以生成单一情感的语音，导致语音合成模型的适用范围较为局限。

发明内容

本发明实施例提供一种语音合成方法、装置和用于语音合成的装置，可以合成不同音色特征以及不同情感特征组合的目标音频，可以扩展语音合成模型的适用范围，并且降低对训练数据的要求以及降低训练数据的采集成本。

为了解决上述问题，本发明实施例公开了一种语音合成方法，所述方法包括：

获取音频训练数据，所述音频训练数据包括不同音色特征以及不同情感特征的音频数据；

根据所述音频训练数据训练语音合成模型，所述语音合成模型包括不同音色特征的音频训练数据训练得到的音色模型参数，以及不同情感特征的音频训练数据训练得到的韵律模型参数；

将待合成的文本数据、至少一个说话人标识、以及情感标识输入所述语音合成模型，通过所述语音合成模型输出语音合成数据，所述语音合成数据包含所述说话人标识对应的音色特征以及所述情感标识对应的情感特征。

可选地，所述根据所述音频训练数据训练语音合成模型，包括：

从所述音频训练数据中提取韵律特征；

将提取的韵律特征输入解码器，训练语音合成模型，所述语音合成模型包括编码器参数、韵律提取参数、音色模型参数、韵律模型参数；

从所述音频训练数据中分别选取单一音色特征的音频数据，并固定所述语音合成模型中的编码器参数和韵律提取参数不变，分别训练不同音色特征对应的音色模型参数；

从所述音频训练数据中分别选取单一音色特征以及单一情感特征的音频数据，并固定所述语音合成模型中的编码器参数和韵律提取参数不变，分别训练不同情感特征的韵律模型参数。

可选地，所述从所述音频训练数据中提取韵律特征，包括：

从所述音频训练数据中提取声学特征；

从提取的声学特征中提取层级变分自动编码器向量；

所述将提取的韵律特征输入解码器，训练语音合成模型，包括：

将提取的层级变分自动编码器向量作为韵律特征输入解码器，基于提取的声学特征训练语音合成模型。

可选地，所述通过所述语音合成模型输出语音合成数据，包括：