[发明专利]一种基于可控最大熵自编码器的零样本语音风格迁移方法

权利要求书

1.一种基于可控最大熵自编码器的零样本语音风格迁移方法，其特征在于，包括如下步骤：

步骤1：通过多个说话人的语音构建语音数据集，人工标注语音数据集中每段语音对应的说话人，将每段语音对应的说话人采用one-hot的编码方式进行编码得到每段语音对应的标注标签，通过每段语音对应的标注标签构建标签数据集；

步骤2，构建可控熵风格特征提取分类网络，将语音数据集中每段语音通过语音信号梅尔谱图计算方法得到语音数据集中段语音对应的梅尔谱图，将每段语音对应的梅尔谱图依次输入至可控熵风格特征提取分类网络预测分类得到每段语音预测的说话人，结合标签数据集每段语音的说话人构建可控熵风格特征提取分类网络损失函数模型，进一步通过梯度反向传播法进行优化得到优化后可控熵风格特征提取分类网络；

步骤3：构建无标注语音数据集；

步骤4：构建可控最大熵语音风格迁移自编码器网络，将无标注语音数据集中每段语音通过语音信号梅尔谱图计算方法得到无标注语音中段语音对应的梅尔谱图，将每段无标注语音对应的梅尔谱图依次输入至可控最大熵语音风格迁移自编码器网络生成重构的语音梅尔谱图，结合相应的输入无标注语音中段语音对应的梅尔谱图构建可控最大熵语音风格迁移自编码器模型损失函数模型，进一步通过梯度反向传播法进行优化得到优化后可控最大熵语音风格迁移自编码器模型；

步骤5：引入源语音以及目标语音，将源语音以及目标语音分别通过梅尔谱图计算得到源语音对应的梅尔谱图、目标语音对应的梅尔谱图，将目标语音对应的梅尔谱图依次通过步骤2所述优化后的可控最大熵语音风格迁移自编码器网络的可控熵风格特征提取器、过步骤2所述可控最大熵语音风格迁移自编码器网络的语音风格采样器进行风格特征提取，得到目标语音对应的风格特征；将源语音通过步骤4所述优化后的可控最大熵语音风格迁移自编码器网络的可控熵内容特征提取器、步骤4所述优化后的可控最大熵语音风格迁移自编码器网络语音内容采样器，进行内容特征提取，得到源语音对应的内容特征；将目标语音对应的风格特征、源语音对应的内容特征通过步骤4所述优化后的可控最大熵语音风格迁移自编码器网络的解码器进行融合得到生成风格迁移后语音样本的梅尔谱图，将风格迁移后语音样本的梅尔谱图通过频谱逆变器转换为风格迁移之后的语音片段。

2.根据权利要求1所述的基于可控最大熵自编码器的零样本语音风格迁移方法，其特征在于，步骤1所述语音数据集为：

S＝{X₁,X₂,…,X_N}

X_i＝(x_i,1,x_i,2,...,x_i,Ti)

i∈[1,N]

其中，X_i表示语音数据集中第i段语音，N表示语音数据集中语音段的数量，T_i表示语音数据集中第i段语音中帧的数量，x_i,t表示语音数据集中第i段语音中第t帧语音片段；

步骤1所述标签数据集为：

YS＝{Y₁,Y₂,…,Y_N}

其中，Y_i标签数据集中第i段语音的说话人，N表示语音数据集中语音段的数量。