[发明专利]一种基于PPG一致性的最优映射跨语言音色转换方法及系统

说明书

本发明公开了一种基于PPG一致性的最优映射跨语言音色转换方法、系统及电子设备，本发明涉及一种基于PPG一致性的最优映射跨语言音色转换方法，首先通过语音信号处理技术提取被转换语音的帧级别的声学特征，并通过ASR计算得到语音波形对应的帧级别的语音内容的表征PPG。同时结合预先设置的目标说话人的大型语料库，在目标说话人的PPG集合中进行最优搜索，从而得到既能准确表示被转换语音的语音内容又符合目标说话人特征的映射序列。最后通过神经网络声学模型和声码器将其转换为自然的语音波形。本发明通过帧级别的语音内容表征PPG建模被转换语音和目标说话人语料之间的关系，不涉及具体语言的限制，因此可以实现跨语言的音色转换。

技术领域

本发明涉及语言识别技术领域，尤其涉及一种基于PPG一致性的最优映射跨语言音色转换方法、系统及电子设备。

背景技术

语音转换旨在修改一个说话者的语音，使其听起来好像是由另一特定说话者发出的。语音转换可以广泛应用于包括计算机辅助发音修剪系统的定制反馈、语音障碍主体的个性化说话辅助开发、利用各种人声的电影配音等在内的多个领域。

由于全球化的兴起，在社交媒体文本、非正式信息和语音导航中，文本或语音出现不同语言内容的交替。在人机口语对话系统中，合成这样的语句时，声音要一致、发音准确并自然，但实际上单说话人双语语料库不易获取。使用跨语言音色转换技术是解决此类任务的重要方法。

目前，传统现有的跨语言音色转换主要存在以下几个方面的问题：

1)传统的方法没有有效的、彻底的解耦开语音的内容特征、音色特征、语言特征，即，未考虑到PPG特征所对应的音素集合与跨语言时描述不同语言音素集合的差异性，会导致PPG特征跨语言时抓取(发音可懂度)特征不准确性和不同语言下不同说话人的语料库PPG的覆盖可能不同的问题；

2)未考虑到不同语言下不同说话人的语料库PPG的覆盖可能不同；例如，现有的神经网络声学模型在合成阶段会接收训练时未见过的输入数据，进而强行得到拟合的输出，导致结果的不准确性和不稳定性；

3)没有提出客观的衡量跨语言音色转换后的语音在内容一致性的方法。

发明内容

本发明目的就是为了弥补已有技术的缺陷，提供一种基于PPG一致性的最优映射跨语言音色转换方法、系统及电子设备，以解决现有技术中PPG跨语言后描述不准确，分布覆盖度不同，以及神经网络训练和合成阶段输入数据不一致的问题。

第一方面，为解决上述技术问题，本发明提供一种基于PPG一致性的最优映射跨语言音色转换方法，包括：

S1，获取用户输入的原始语音波形；

S2，基于预设的PPG确定策略，确定所述原始语音波形对应的第一PPG序列和预置目标说话人的语料库对应的目标PPG集合；

S3，从所述第一PPG序列中的第一语音帧开始，从所述目标PPG集合中搜索距离所述第一语音帧对应的PPG序列中当前语音帧对应的PPG距离最近的目标PPG集合中的一帧PPG，直至遍历完所述第一PPG序列，并将为所述第一PPG序列中的每一语音帧搜索到的所述第二语音后验概率PPG组成最优映射PPG序列；

S4，将所述最优映射PPG序列输入到预先训练好的神经网络声学模型中，得到目标说话人的梅尔谱，并根据预设的声码转换策略，将所述目标说话人的梅尔谱转换为目标说话人的语音波形，从而实现将所述用户输入的原始语音波形转换为目标说话人的语音波形。

可选的，所述第一PPG序列由所述原始语音波形包含的每一语音帧对应的第一语音后验概率PPG组成；所述目标PPG集合由所述预置目标说话人的语料库中每一句语音对应的所有帧PPG序列组成的集合。

可选的，所述步骤S2中基于预设的PPG确定策略，确定所述原始语音波形对应的第一PPG序列的步骤，包括：