[发明专利]音频合成方法、电子设备和存储介质

权利要求书

1.一种音频合成方法，包括：

获取待进行音频合成的目标语句所对应的文本特征向量；

确定所述文本特征向量所对应的目标码本信息；

基于预设的码本解码器，确定所述目标码本信息所对应的目标频谱图；

根据所述目标频谱图，生成所述目标语句所对应的合成音频。

2.根据权利要求1所述的方法，其中，所述获取待进行音频合成的目标语句所对应的文本特征向量，包括：

根据预设的单词列表对所述目标语句进行分割标记，以确定相应的标记单词序列；

在所述标记单词序列的首部和尾部分别设置位置指示令牌，以生成令牌序列；

基于语言模型，提取所述令牌序列所对应的文本特征向量。

3.根据权利要求2所述的方法，其中，所述基于语言模型，提取所述令牌序列所对应的文本特征向量，包括：

将所述令牌序列填充到具有固定长度的最大数量序列中，使得所述最大数量序列包含所述令牌序列和至少一个占位符；

将所述最大数量序列和注意掩码输入至语言模型，使得所述语言模型提取所述令牌序列所对应的文本特征向量；其中，所述注意掩码用于使所述语言模型忽略各个所述占位符。

4.根据权利要求1所述的方法，所述目标频谱图为梅尔谱图，

其中，所述根据所述目标频谱图，生成所述目标语句所对应的合成音频，包括：

基于预设的梅尔谱生成对抗神经网络，生成所述梅尔谱图所对应的合成音频。

5.根据权利要求1所述的方法，其中，确定所述文本特征向量所对应的目标码本信息，包括：

确定所述文本特征向量所对应的码本索引；

根据所述码本索引从预设的参考码本查询相匹配的目标码本表示；所述参考码本包含多个码本索引和相应的码本表示；

基于所述目标码本表示，确定目标码本信息。

6.根据权利要求5所述的方法，其中，所述确定所述文本特征向量所对应的码本索引，包括：

利用具有自注意力机制的机器学习模型对所述文本特征向量进行解析，以得到所述文本特征向量所对应的码本索引。

7.根据权利要求5所述的方法，其中，所述码本解码器采用矢量量化生成对抗式网络，以及所述参考码本中的各个码本表示是由所述矢量量化生成对抗式网络以自然音频样本为基础而确定的；所述自然音频样本包含具有注释的音频文本对，所述注释用于描述所述音频文本对中音频所对应的文本的差异化信息。

8.根据权利要求7所述的方法，其中，所述自然音频样本中的音频文本对是以音频字幕数据为基础而确定的。

9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8中任一项所述方法的步骤。