[发明专利]跨语言语音转换方法、装置、设备及介质

权利要求书

1.一种跨语言语音转换方法，其特征在于，所述跨语言语音转换方法包括：

获取预先配置的多个目标语言，并调用与所述多个目标语言相对应的多个通用语料库；

提取每个通用语料库中语料的梅尔频率倒谱系数MFCC作为训练数据，并分别训练对应于每个目标语言的自动语音识别ASR模型；

调用文本转换TTS语料库，并从所述TTS语料库中获取所述TTS语料库所存储的每个语料的声学语音参数；

提取每个语料的MFCC，将每个语料的MFCC分别输入至每个目标语言的ASR模型，并获取每个目标语言的ASR模型的输出作为每个语料对应于每个目标语言的语音后验概率PPG；

对每个语料对应于每个目标语言的PPG进行融合处理，得到每个语料的目标语音后验概率PPGs；

将每个语料的PPGs确定为输入，将每个语料的声学语音参数确定为输出，并训练指定神经网络模型，得到转换模型；

当接收到待处理语音时，利用每个目标语言的ASR模型生成所述待处理语音的PPGs；

将所述待处理语音的PPGs输入至所述转换模型，并获取所述转换模型的输出作为所述待处理语音的声学语音参数；

启动声码器根据所述待处理语音的声学语音参数合成语音。

2.如权利要求1所述的跨语言语音转换方法，其特征在于，所述提取每个通用语料库中语料的梅尔频率倒谱系数MFCC包括：

将所述多个通用语料库中的每个语料确定为目标语料；

对于每个目标语料，对所述目标语料进行预加重、分帧及加窗处理，得到第一语料；

对所述第一语料进行快速傅立叶变换，得到频谱；

将所述频谱输入至梅尔滤波器组，得到梅尔频谱；

在所述梅尔频谱上进行倒谱分析，得到所述目标语料的MFCC。

3.如权利要求1所述的跨语言语音转换方法，其特征在于，所述分别训练对应于每个目标语言的自动语音识别ASR模型包括：

语料划分：将每个目标语言对应的通用语料库中的语料按照预设比例随机划分为第一语料集和第二语料集；

模型训练：将所述第一语料集确定为训练集训练模型，并将所述第二语料集确定为验证集验证训练得到的模型；

重复执行所述语料划分及所述模型训练，直至每个目标语言对应的通用语料库中的语料都作为所述训练集中的数据训练过模型，且每个目标语言对应的通用语料库中的语料都作为所述验证集中的数据验证过训练得到的模型，停止训练，得到所述对应于每个目标语言的ASR模型。

4.如权利要求1所述的跨语言语音转换方法，其特征在于，所述TTS语料库所存储的每个语料的声学语音参数包括：梅尔倒谱系数MCEP、基频LF0及波段非周期性BAP。

5.如权利要求1所述的跨语言语音转换方法，其特征在于，所述对每个语料对应于每个目标语言的PPG进行融合处理，得到每个语料的目标语音后验概率PPGs包括：

对每个语料对应于每个目标语言的PPG进行按位相加运算，得到每个语料的目标语音后验概率PPGs。

6.如权利要求1所述的跨语言语音转换方法，其特征在于，所述将每个语料的PPGs确定为输入，将每个语料的声学语音参数确定为输出，并训练指定神经网络模型，得到转换模型包括：

将每个语料的PPGs输入至深度神经网络，并将每个语料的声学语音参数作为训练目标进行训练；

在训练过程中，不断计算所述深度神经网络的准确率；

当所述准确率大于或者等于配置准确率时，停止训练，得到所述转换模型。

7.如权利要求1所述的跨语言语音转换方法，其特征在于，所述利用每个目标语言的ASR模型生成所述待处理语音的PPGs包括：

提取所述待处理语音的MFCC；

将所述待处理语音的MFCC分别输入每个目标语言的ASR模型；

获取每个目标语言的ASR模型的输出作为所述待处理语音对应于每个目标语言的PPG；

融合所述待处理语音对应于每个目标语言的PPG，得到所述待处理语音的PPGs。