[发明专利]语音转换方法、装置、电子设备及可读存储介质

说明书

本发明提供一种语音转换方法、装置、电子设备及可读存储介质。方法包括基于预设切分规则将输入语音切分为多个帧单元；提取每个帧单元的梅尔倒谱特征和基频特征；将帧单元归类到相应的音素集合；根据帧单元的梅尔倒谱特征和平行训练得到的高斯混合模型参数，计算得到输出梅尔倒谱特征；根据输入语音帧单元基频，原始音素集合的基频特征和目标语音素集合的基频特征，计算得到输出基频；根据输出梅尔倒谱特征及输出基频计算得到输入语音转换后对应的输出语音。该方法不仅改善因忽略语音瞬时信息而导致的语音连续性差的缺点，还弥补整体训练的高斯混合模型导致的频谱细节缺失的问题，使得合成语音发音更准确，连续，以及韵律保持更完好。

技术领域

本发明涉及语音信息处理技术领域，具体而言，涉及一种语音转换方法、装置、电子设备及可读存储介质。

背景技术

语音合成技术经过将近半个世纪的发展，已经取得了丰硕的成果，在人工智能等领域发挥着极其重要的作用。其中，TTS(Text-to-Speech，又称文语转换)是将计算机自己产生的、或外部输入的文字信息转变为可以听得懂的、流利的口语输出的技术，但是TTS合成的语音一般存在以下两方面的问题：一是音色局限于少量的播音员样本，无法满足个性化的需求；而是韵律不自然，合成痕迹明显。

音色转换(又称语音转换)是在不改变语音内容的前提下，将当前说话人音色直接转换为输出说话人音色的技术，优点在于韵律自然，个性化音色保持较好。目前，基于GMM(高斯混合模型)的语音转换方法是参数语音转换技术中主流的方法，该方法的思路：①提取输出说话人语音和原说话人语音的梅尔倒谱特征和基频特征；②训练基频特征，计算输出说话人和原说话人基频特征均值和标准差；③初始化GMM，联合输出说话人和原说话人梅尔倒谱特征向量，基于EM(期望最大化)算法迭代出高斯混合模型参数；④根据基音特征概率参数和高斯混合模型参数，分别建立映射函数，计算转换输出特征；⑤将映射得到基频和梅尔特征转换为频谱，在经过傅里叶逆变换转换成时域波形。该方法的不足在于，一方面在于联合特征向量以单帧为单元，没有考虑输出语音帧间的平滑特性，导致语音瞬时信息的缺失，造成合成语音不连续；另一方面在于高斯混合模型是一种多维特征的拟合的数学模型，各个因素联合训练，会导致频谱细节的缺失，这两者都将对合成语音音质造成影响。

发明内容

为了克服现有技术中的上述不足，本发明所要解决的技术问题是提供一种语音转换方法、装置、电子设备及可读存储介质，其能够在保证合成语音连续的前提下，确保频谱细节不被丢失。

本发明第一方面的目的在于提供一种语音转换方法，所述方法包括：

基于预设切分规则将待转换说话人的输入语音切分为多个帧单元，其中，每个帧单元包括多个连续语音帧；

提取每个所述帧单元的梅尔倒谱特征和基频特征；

将所述帧单元归类到相应的语音音素集合；

根据所述帧单元的梅尔倒谱特征和所述帧单元对应语音音素集合的高斯混合模型参数，计算得到输出梅尔倒谱特征；

基于所述帧单元的基频和帧单元对应的原始语音音素集合的基频特征和目标语音音素集合的基频特征，计算得到输出基频，其中，所述原始语音音素集合为待转换说话人语音对应的语音音素集合，所述目标语音音素为目标音色说话人语音对应的语音音素集合；

根据所述输出梅尔倒谱特征及输出基频计算得到所述输入语音转换后对应的输出语音。

可选地，所述方法还包括通过原始语音音素集合和目标语音音素集合平行训练得到高斯混合模型参数及基频转换参数，其中，原始语音库为待转换说话人语音库，目标语音库为目标音色说话人的语音库；

所述通过原始语音音素集合和目标语音音素集合平行训练得到高斯混合模型参数及基频转换参数的步骤包括：