[发明专利]一种基于变分自编码器的多说话人语音合成方法

说明书

本发明公开了一种基于变分自编码器的多说话人语音合成方法，包括：提取一条待合成说话人干净语音的音素级别时长参数和帧级别声学参数，将归一化的音素级别时长参数输入第一变分自编码器，输出时长说话人标签；将归一化的帧级别声学参数输入第二变分自编码器，输出声学说话人标签；对待合成的包含多个说话人的语音信号提取帧级别语言学特征和音素级别语言学特征；将时长说话人标签和归一化的音素级别语言学特征输入时长预测网络，输出当前音素预测时长；通过当前音素预测时长获得该音素的帧级别语言学特征，将其与声学说话人标签输入声学参数预测网络，输出归一化的预测语音的声学参数；将归一化的预测语音声学参数输入声码器，输出合成语音信号。

技术领域

本发明涉及语音合成方法，特别涉及一种基于变分自编码器的多说话人语音合成方法。

背景技术

语音合成技术是将输入的文本转换为语音的重要技术，也是人机交互领域的一个重要研究内容。

传统的语音合成算法需要录制单一说话人音素覆盖比较全面的音库来保证其可以合成各种文本的语音，但会引起录制成本高、效率低且只能合成单一说话人的语音的问题。而多说话人的语音合成支持不同说话人并行录制语音，且可以合成来自不同说话人的语音。传统的多说话人语音合成往往需要获得当前语音的说话人信息，并手动标注一个说话人标签，例如说话人的独热编码，属于一种有监督的学习，而这种方法在说话人数目很多的时候合成的语音往往有多个说话人的音色重叠。该方法引入一个变分自编码器网络，对该网络的输出进行采样获得说话人的标签。

发明内容

本发明的目的在于克服传统多说话人语音合成方法中存在的有监督学习、在说话人数量很多的时候合成的语音往往有多个说话人的音色重叠问题，通过引入一个变分自编码器网络，对该网络的输出进行采样获得说话人的标签，提出了一种基于变分自编码器的多说话人语音合成方法，该方法是一种无监督的学习说话人信息的方法。

为实现上述目的，本发明提出了一种基于变分自编码器的多说话人语音合成方法，所述方法包括：

提取一条待合成说话人干净语音的音素级别时长参数和帧级别声学参数并进行归一化，将归一化的音素级别时长参数输入第一变分自编码器，输出时长说话人标签；将归一化的帧级别声学参数输入第二变分自编码器，输出声学说话人标签；

对待合成的包含多个说话人的语音信号提取帧级别语言学特征和音素级别语言学特征并进行归一化；

将时长说话人标签和归一化的音素级别语言学特征输入时长预测网络，输出当前音素的预测时长；

通过当前音素的预测时长获得该音素的帧级别语言学特征，将其与声学说话人标签输入声学参数预测网络，输出归一化的预测语音的声学参数；

将归一化的预测语音的声学参数输入声码器，输出合成语音信号。

作为上述方法的一种改进，所述第一变分自编码器/第二变分自编码器包含5层一维卷积层、1层长短时记忆层和1层全连接层，其中卷积层的卷积核大小为5，步长为2，数量为128，全连接层输出为预测的高斯分布的标准差和均值，长短时记忆层包含128个神经元，每个神经元的激活函数使用的是修正线性单元，其表达式为：

f(x)＝max(0，x)

所述第一变分自编码器/第二变分自编码器的输入为归一化的音素级别时长参数/归一化的帧级别声学参数，输出为高斯分布的均值与标准差，计算预测的编码后的分布与真实分布之间的相对熵为：

其中，N为高斯分布的维度，σ_n和u_n分别为变分自编码器预测的高斯分布的σ(x)和u(x)第n维的标准差和均值，为隐向量真实分布，p_θ(z)为变分自编码器预测的隐向量分布，并假定真实分布为标准高斯分布；

隐向量通过重采样来实现：