[发明专利]非平行文本条件下基于VAE与i-vector的多对多语音转换系统

摘要

本发明提供一种非平行文本条件下基于VAE与身份特征向量（i‑vector）的多对多语音转换系统，在非平行语料条件下，基于变分自编码模型(Variational Autoencoding,VAE)实现语音转换，其中说话人的表征加入了说话人身份特征i‑vector,能够有效地提升转换后语音的个性相似度。本发明的优点包括三个方面：1）解除对平行文本的依赖，并且训练过程不需要任何对齐操作；2）可以将多个源‑目标说话人对的转换系统整合在一个转换模型中，即实现多对多转换；3）i‑vector特征的引入能够丰富说话人身份信息，从而有效提高转换语音的个性相似度，改善转换性能。

主权项

1.非平行文本条件下基于VAE与i‑vector的多对多语音转换系统，其特征在于，包括如下步骤：S1、提取每个说话人的语句的频谱特征，谐波包络特征和对数基频；S2、提取每个说话人的身份特征向量i‑vector；S3、以S1中提取的频谱特征、S2中提取的身份特征向量和说话人标签作为VAE模型的输入数据，迭代训练VAE模型，得到说话人语音转换模型；S4、提取每个源说话人的语句的频谱特征，谐波包络特征和对数基频；S5、以源说话人的频谱特征、目标说话人的标签及目标说话人的身份特征向量作为训练好的语音转换模型的输入数据，获取语音转换模型的输出即为目标说话人的重构频谱特征信息；S6、源说话人语句的特征中对数基频通过对数线性域变换转换为目标说话人的基频；S7、将转换得到的目标说话人频谱特征信息，S4中源说话人的谐波包络特征和目标说话人的基频输入语音合成模型获取目标说话人语音。