[发明专利]目标音频的输出方法及装置、系统

权利要求书

1.一种目标音频的输出方法，其特征在于，包括：

将源音频输入语音后验图PPG分类网络模型，得到PPG特征向量，其中，所述PPG 特征向量用于指示每一帧源音频对应的音素标签，所述PPG 特征向量包含所述源音频的文本信息和韵律信息；

将所述PPG特征向量输入声音转换网络模型，根据所述PPG特征向量对应的所述音素标签输出目标音频的声学特征向量，其中，所述目标音频包含多个不同音色的音频；

将所述目标音频的声学特征向量输入声码器，通过所述声码器输出所述目标音频；

其中，在将源音频输入语音后验图PPG分类网络模型，得到PPG特征向量之前，所述方法还包括：

建立所述PPG分类网络模型，其中，所述PPG分类网络模型包括依次连接的抽象映射层、模块层、PPG层和分类层，所述模块层包括至少两个串联的模块；

通过第一训练样本训练所述PPG分类网络模型，其中，所述第一训练样本包括第一音频特征和所述第一音频特征对应的第一音素标签；

所述通过第一训练样本训练所述PPG分类网络模型，包括：

将所述第一音频特征输入所述抽象映射层，进行第一步抽象映射；

通过所述模块对单个所述第一训练样本的每一层第一音频特征在通道方向上做归一化，然后通过所述抽象映射层进行第二步抽象映射；

通过所述模块采用线性序列结构不断从前往后收集输入的所述第一音频特征的信息，提取所述第一音频特征之间的全局依赖信息；

通过所述模块提取所述第一音频特征之间的局部依赖信息；

整合所述全局依赖信息和所述局部依赖信息，并对所述第一音频特征做第三步抽象映射；

根据所述第一音素标签对应的音素类别的总数，通过所述PPG层对经过第三步抽象映射输出特征向量进行分类，得到第一PPG特征向量，其中，所述第一PPG特征向量的维度与所述音素类别的总数一致，所述第一PPG特征向量的每一维用于指示一种音素类别的概率；

将所述第一音频特征作为输入，将所述第一PPG特征向量作为输出，通过反向传播将所述PPG分类网络模型训练至收敛。

2.根据权利要求1所述的方法，其特征在于，通过第一训练数据训练所述PPG分类网络模型之前，所述方法还包括：

获取第一训练语料，其中，所述第一训练语料包括第一音频和所述第一音频对应的第一文本；

将所述第一音频转换为第一音频特征，并将所述第一文本转换为第一音素；

根据所述第一音频和所述第一文本的对齐关系，以及所述第一音素的时长信息，确定每一帧所述第一音频特征对应的第一音素标签，其中，所述第一音素标签用于标识所述第一音素的类别；

将所述第一音频特征确定为所述第一训练样本的输入，将所述第一音素标签确定为所述第一训练样本的输出。

3.根据权利要求1所述的方法，其特征在于，在将所述PPG特征向量输入声音转换网络模型，根据所述PPG特征向量对应的所述音素标签输出目标音频的声学特征向量之前，所述方法还包括：

建立所述声音转换网络模型，其中，所述声音转换网络模型包括编码层、解码层、声波编码层和声波预测层；

通过第二训练样本训练所述声音转换网络模型，其中，所述第二训练样本包括第二音频对应的第二PPG特征向量和所述第二音频对应的样本声学特征向量，所述第二音频包括多种不同音色的音频，所述声音转换网络模型包含多个目标标识，每一所述目标标识用于标识一种音色。

4.根据权利要求3所述的方法，其特征在于，在通过第二训练样本训练所述声音转换网络模型之前，所述方法还包括：

获取所述第二音频；

将所述第二音频输入训练好的所述PPG分类网络模型，得到所述第二音频对应的所述第二PPG特征向量，并将所述第二PPG特征向量确定为所述第二训练样本的输入；

对经过清洗处理的所述第二音频，提取所述样本声学特征向量，并将所述样本声学特征向量确定为所述第二训练样本的输出。