[发明专利]声学深度学习模型训练方法、语音生成方法及设备

权利要求书

1.一种声学深度学习模型训练方法，其特征在于，包括：

获取多个语种的原始样本数据，所述原始样本数据包括说话人的音频数据、文本数据和语种信息；

根据所述语种信息将所述文本数据转换为音素，并为每个所述音素分别添加语种标签；

提取所述音频数据的线性谱数据；

深度学习模型利用多个训练数据进行训练，所述训练数据包括所述线性谱数据、所述音素及其语种标签、所述文本数据，所述深度学习模型包括音频生成模块、文本特征提取模块、流映射模块、对齐搜索模块和时长预测模块，其中所述音频生成模块包括后验频谱编码器和解码器，所述后验频谱编码器用于对所述线性谱数据提取音频特征，所述解码器用于根据所述音频特征生成所述音频数据，所述文本特征提取模块包括音素编码器和映射模块，所述音素编码器用于对所述音素提取文本特征数据，所述映射模块用于将所述文本特征数据处理为文本特征值，所述文本特征值为多元高斯分布的均值和方差，所述流映射模块用于将所述音频生成模块提取的音频特征映射为潜在变量，所述对齐搜索模块用于建立所述文本特征值与所述潜在变量的映射关系数据，所述时长预测模块用于根据所述文本特征提取模块提取的文本特征数据和所述映射关系数据确定时长信息。

2.根据权利要求1所述的方法，其特征在于，原始样本数据为多个说话人的原始样本数据，至少部分说话人所使用的语种不同，同一说话人的原始样本数据为单一语种。

3.根据权利要求1或2所述的方法，其特征在于，所述训练数据中还包括说话人的标识数据，在所述深度学习模型利用多个训练数据进行训练的过程中，所述标识数据被送入所述音频生成模块、流映射模块和时长预测模块。

4.一种语音生成方法，其特征在于，包括：

获取文本数据和语种信息；

根据所述语种信息将所述文本数据转换为音素，并为每个所述音素分别添加语种标签；

利用权利要求1-3中任一项所述训练方法训练的深度学习模型生成音频数据，所述深度学习模型包括音频生成模块、文本特征提取模块、流映射模块和时长预测模块，其中所述文本特征提取模块用于对所述音素提取文本特征值，所述文本特征值为多元高斯分布的均值和方差，所述时长预测模块用于根据所述文本特征提取模块提取的文本特征数据生成时长信息，所述流映射模块用于根据所述文本特征值和所述时长信息计算潜在变量，并根据所述潜在变量生成频谱特征数据，所述音频生成模块根据所述频谱特征数据生成音频数据。

5.根据权利要求4所述的方法，其特征在于，所述文本特征提取模块包括音素编码器和映射模块，其中所述音素编码器用于对所述音素提取文本特征数据，所述映射模块用于将所述文本特征数据处理为所述文本特征值。

6.根据权利要求4所述的方法，其特征在于，在利用深度学习模型生成音频数据前还包括获取说话人的标识数据，在利用深度学习模型生成音频数据的过程中，所述标识数据被送入所述音频生成模块、流映射模块和时长预测模块。

7.一种声学深度学习模型训练设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-3中任意一项所述的声学深度学习模型训练方法。

8.一种语音生成设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求4-6中任意一项所述的语音生成方法。