[发明专利]融合DSNet与EDSR网络的非平行多对多语音转换方法

权利要求书

1.一种融合DSNet与EDSR网络的非平行多对多语音转换方法，其特征在于，包括训练阶段和转换阶段，所述训练阶段包括以下步骤：

(1.1)获取训练语料，训练语料由多名说话人的语料组成，所述说话人包含源说话人和目标说话人；

(1.2)使用WORLD语音分析/合成模型提取出所述训练语料中各说话人语料的频谱包络特征x、非周期性特征以及基频特征；

(1.3)将源说话人的频谱包络特征x_s、目标说话人的频谱包络特征x_t、源说话人标签c_s以及目标说话人标签c_t，输入到转换网络进行训练；转换网络由生成器G、鉴别器D、分类器C组成，所述的生成器G由编码网络、EDSR网络、DSNet网络以及解码网络构成，DSNet网络构建在编码网络与解码网络之间；说话人频谱特征一同输入到EDSR网络和编码网络中，再通过DSNet网络将编码网络的输出与EDSR网络的输出进行特征融合；所述EDSR网络包括卷积模块和残差模块，所述残差模块是去除了BN和ReLU模块的ResNet结构；

(1.4)设置所述转换网络的超参数，使得目标函数最小化，直至设置的迭代次数，从而得到训练好的转换网络；

(1.5)构建从源说话人的语音基频到目标说话人的语音基频的基频转换函数；

所述转换阶段包括以下步骤：

(2.1)通过WORLD语音分析/合成模型将待转换语料中源说话人的频谱包络特征x_s'、非周期性特征和基频特征提取出来；

(2.2)将上述源说话人的频谱包络特征x_s'和目标说话人的标签c_t'输入到步骤(1.4)中训练好的转换网络中，重构出目标说话人的频谱特征x_tc'；

(2.3)将步骤(2.1)中提取出的源说话人的基频，使用步骤(1.5)中的基频转换函数，转换为目标说话人的基频；

(2.4)使用WORLD语音分析/合成模型将步骤(2.1)中提出的非周期性特征、步骤(2.2)中得到的重构目标说话人频谱特征x_tc'和步骤(2.3)中得到的目标说话人的基频进行合成，得到转换后的说话人语音。

2.根据权利要求1所述的融合DSNet与EDSR网络的非平行多对多语音转换方法，其特征在于：步骤(1.4)中的训练过程包括以下步骤：

(1)将源说话人的频谱包络特征x_s输入到生成器G的编码网络和EDSR网络，得到说话人无关的语义特征G'(x_s)和E'(x_s)；

(2)将上述得到的语义特征G'(x_s)和E'(x_s)输入到DSNet网络中进行特征融合，得到G(x_s)，再与目标说话人的标签特征c_t一同输入到生成器G的解码网络进行训练，在训练过程中最小化生成器G的损失函数，从而得到重构的目标说话人的频谱包络特征x_tc；

(3)将上述得到的重构目标说话人的频谱包络特征x_tc，再次输入到生成器G的编码网络和EDSR网络，得到说话人无关的语义特征G'(x_tc)和E'(x_tc)；

(4)将上述得到的语义特征G'(x_tc)和E'(x_tc)输入到DSNet网络进行特征融合得到G(x_tc)，再与源说话人标签特征c_s输入到生成器G的解码网络进行训练，在训练过程中最小化生成器G的损失函数，得到重构的源说话人的频谱包络特征x_sc；

(5)将重构目标说话人的频谱包络特征x_tc、目标说话人频谱包络特征x_t以及目标说话人的标签特征c_t，一同输入到鉴别器D中进行训练，最小化鉴别器D的损失函数；

(6)将重构目标说话人的频谱包络特征x_tc、目标说话人的频谱包络特征x_t输入分类器C进行训练，最小化分类器C的损失函数；

(7)回到步骤(1)重复上述步骤，直至达到设置的迭代次数，从而得到训练好的DSNet-EDSR STARGAN网络。