[发明专利]语音转换模型的训练、应用方法、装置、设备及存储介质

说明书

本申请涉及语音处理技术，尤其涉及语音转换模型的训练、应用方法、装置、设备及存储介质。基于矢量量化对语音进行编码，通过新的训练目标得到了效果较好的语音转换模型。方法包括：获取包含语音和说话人标识的训练集，语音包括来自同一说话人的第一语音和第二语音。将第一语音输入矢量量化编码器得到第一内容向量和第一说话人向量，将第二语音输入矢量量化编码器得到第二内容向量和第二说话人向量。根据第一说话人向量和第二说话人向量确定第一损失值。将第一内容向量和第二说话人向量输入解码器得到预测的语音，根据预测的语音和第一语音确定第二损失值。基于第一损失值和第二损失值迭代优化语音转换模型的参数，得到训练好的语音转换模型。

技术领域

本申请涉及语音处理技术领域，尤其涉及一种语音转换模型的训练方法、语音转换模型的应用方法、装置、计算机设备及存储介质。

背景技术

语音转换，即在不改变话语内容信息的情况下，让某一个说话人说的一句话听起来像是另一个人说的，这是一门充满挑战性而又具有很强应用价值的任务。语音转换在很多领域发挥出很强的应用价值，例如驾驶导航，若能转换出驾驶员喜爱的明星的声音，必然能给驾驶员带来更大的心情愉悦。

基于矢量量化的语音转换方法(VQVC)可以胜任语音转换任务，由于其训练目标是矢量量化后的向量尽可能还原量化前的连续向量，未将语音的音素和说话人信息在训练中解耦，因此不能很好地学习到语音所包含的说话人信息。

发明内容

本申请提供了一种语音转换模型的训练、应用方法、装置、设备及存储介质，通过将同一说话人的语音经矢量量化编码得到的说话人向量的损失值，以及根据来自同一说话人的不同语音的说话人向量和内容向量重构的语音的损失值，作为语音转换模型的总的损失值，使语音转换模型的训练目标更合理，能更好地学习到语音中的说话人信息，进而得到了语音转换效果更好的语音转换模型。

第一方面，本申请提供了一种语音转换模型的训练方法，所述训练方法包括：

获取训练集，所述训练集包含语音和与所述语音对应的说话人标识，所述语音包括第一语音和第二语音，所述第一语音和所述第二语音为同一个说话人的包含不同说话内容的的语音；

将所述第一语音输入矢量量化编码器，得到第一内容向量和第一说话人向量，将所述第二语音输入所述矢量量化编码器，得到第二内容向量和第二说话人向量；

根据所述第一说话人向量和所述第二说话人向量确定第一损失值；

将所述第一内容向量和所述第二说话人向量输入所述解码器得到预测的语音，并根据所述预测的语音和所述第一语音确定第二损失值；

基于所述第一损失值和所述第二损失值迭代优化所述语音转换模型的参数，得到训练好的语音转换模型。

第二方面，本申请提供了一种语音转换模型的应用方法，所述应用方法包括：

将源说话人的语音输入所述训练好的语音转换模型的矢量量化编码器，得到源内容向量；

将目标说话人的语音输入所述训练好的语音转换模型的矢量量化编码器，得到目标说话人向量；

将所述源内容向量和所述目标说话人向量输入所述训练好的语音转换模型的解码器，得到转换后的语音。

第三方面，本申请还提供了一种语音转换模型的训练装置，所述训练装置包括：

训练集获取模块，用于获取训练集，所述训练集包含语音和与所述语音对应的说话人标识，所述语音包括第一语音和第二语音，所述第一语音和所述第二语音为同一个说话人的包含不同说话内容的不同语音；

语音编码模块；用于将所述第一语音输入所述矢量量化编码器，得到第一内容向量和第一说话人向量，将所述第二语音输入所述矢量量化编码器，得到第二内容向量和第二说话人向量；