[发明专利]基于SN的多对多说话人转换方法

摘要

本发明公开了一种基于SN的多对多说话人转换方法，包括训练阶段和转换阶段，使用了STARGAN‑ResNet与SN相结合来实现语音转换系统，利用SN(Switchable norm)解决STARGAN‑ResNet中数据标准化过程中的噪声问题，通过为深度网络中的每一个标准化层确定合适的标准化操作来改善STARGAN‑ResNet的数据标准化过程中产生的噪声问题，能够较好地提升模型对于语义的学习能力以及语音频谱的合成能力，从而较好地提升转换后语音的个性相似度和语音质量，克服转换后语音相似度与自然度较差的问题，实现了一种高质量的语音转换方法。

主权项

1.一种基于SN的多对多说话人转换方法，其特征在于包括训练阶段和转换阶段，所述训练阶段包括以下步骤：(1.1)获取训练语料，训练语料由多名说话人的语料组成，包含源说话人和目标说话人；(1.2)将所述的训练语料通过WORLD语音分析/合成模型，提取出各说话人语句的频谱包络特征x、非周期性特征以及基频特征F0；(1.3)将源说话人的频谱包络特征x_s、目标说话人的频谱包络特征x_t、源说话人标签c_s以及目标说话人标签c_t，输入到STARGAN‑ResNet网络进行训练；所述的STARGAN‑Resnet网络由生成器G、鉴别器D和分类器C组成，所述的生成器G由编码网络和解码网络构成，在编码网络与解码网络之间搭建三层ResNet，在生成器G、鉴别器D和分类器C的每层网络间采用Switchable Norm进行数据标准化；(1.4)训练过程使生成器的损失函数、鉴别器的损失函数、分类器的损失函数尽量小，直至设置的迭代次数，从而得到训练好的STARGAN‑ResNet网络；(1.5)构建从源说话人的语音基频到目标说话人的语音基频的基频转换函数；所述转换阶段包括以下步骤：(2.1)将待转换语料中源说话人的语音通过WORLD语音分析/合成模型提取出频谱包络特征x_s′、非周期性特征和基频特征F0；(2.2)将上述源说话人频谱包络特征x_s′、目标说话人标签特征c_t′输入(1.4)中训练好的STARGAN‑ResNet网络，重构出目标说话人频谱包络特征x_tc′；(2.3)通过(1.5)得到的基频转换函数，将(2.1)中提取出的源说话人基频转换为目标说话人的基频特征；(2.4)将(2.2)中得到的目标说话人频谱包络特征x_tc′、(2.3)中得到的目标说话人的基频特征F0和(2.1)中提取的非周期性特征通过WORLD语音分析/合成模型，合成得到转换后的说话人语音。