[发明专利]一种基于生成式对抗网络的语音合成方法

权利要求书

1.一种基于生成式对抗网络的语音合成方法，其特征在于,包括以下步骤:

S1.准备训练样本，包括真实音频数据，提取真实音频数据的梅尔频谱特征；

S2.根据梅尔频谱特征的提取方式和采样率，设置初始化的生成器参数组，包括设置一维反卷积参数和一维卷积参数；设置初始化的鉴别器参数组，包括多维鉴别器和池化鉴别器的参数；

S3.输入梅尔频谱特征到生成器，由生成器得到对应的输出合成音频；

S4.将S1中的真实音频数据和S3得到的输出合成音频对应同时输入到多维鉴别器和池化鉴别器；其中真实音频数据和输出合成音频均为一维音频数据；

多维鉴别器将一维音频数据转换为多维矩阵，并对多维矩阵进行二维卷积运算得到输出结果；

池化鉴别器将一维音频数据做池化缩小维度，然后进行一维卷积运算得到输出结果；

S5.将鉴别器的输出结果输入到损失函数公式，分别计算生成器损失函数和鉴别器损失函数；

----（1）

上式中，Loss_D(D；G)表示生成器模型参数固定时的鉴别器损失函数；Loss_G(G；D)表示鉴别器参数固定时的生成器损失函数；

D(x^m)表示真实音频数据x经过第m次变形后输入鉴别器得到的输出结果，s表示真实音频的梅尔频谱值, E_（x,s）表示以x,s为变量进行均值计算；

G^m(s)表示生成器输出的输出合成音频第m次变换后的m次第一中间值；D(G^m(s))表示将该m次第一中间值输入鉴别器得到的m次第二中间值；

M为设定的音频数据总的变形次数，完成M次变形后，得到本次更新的损失函数；

（1）式表示每一次更新中，计算损失函数需要对输出合成音频进行M次变形，最终得到本次更新的损失函数；

S6.以（1）式得到的生成器损失函数和鉴别器损失函数进行生成器和鉴别器的更新；

S7.每更新一次后，返回步骤S3.并利用更新后的生成器和鉴别器重复S3-S7步骤；直到到达设定的更新次数最大值steps_max；

S8.利用生成器进行语音合成。

2.如权利要求1所述的语音合成方法，其特征在于，所述一维反卷积参数包括：

生成器的上采样因子[u₁, u₂... u_n], 上采样因子需要满足条件u₁*u₂*... *u_n=hop_size；hop_size为计算梅尔频谱时的滑动步长；

卷积步长stride=[u₁, u₂... u_n]

输出特征维数

L_out=（L_in-1）*stride-2*padding+dilation*(kernel_size-1)+output_padding+1----（2）

其中，padding为输入特征边缘扩充值，dilation为卷积核元素间距，kernel_size为卷积核大小，output_padding为输出特征边缘扩充值；L_in为输入特征维数；

根据卷积步长stride，设计其他参数为：

C_out(i)= C_in (i)/2ⁱ；

k_u(i)=2* u_i；

padding (i)= u_i//2+ u_i%2；

output_padding (i)= u_i%2； ----（3）

//符号表示整除，%表示除运算的余数；

i=1,2,…n；u_i为卷积步长stride的单个向量元素u₁, u₂... u_n；

其中C_out(i)为第i次上采样的输出通道数，C_in (i)为第i次上采样的输入通道数，k_u(i)为第i次上采样的卷积核大小kernel_size；padding (i)为第i次上采样的输入特征边缘扩充值， output_padding (i)为第i次上采样的输出特征边缘扩充值；

所述一维卷积参数包括多尺度感受野融合模块内每个一维卷积参数。