[发明专利]音频合成方法、电子设备和存储介质

说明书

本发明公开一种音频合成方法、电子设备和存储介质。在该方法中，获取待进行音频合成的目标语句所对应的文本特征向量；确定所述文本特征向量所对应的目标码本信息；基于预设的码本解码器，确定所述目标码本信息所对应的目标频谱图；根据所述目标频谱图，生成所述目标语句所对应的合成音频。由此，利用与语句的文本特征向量相对应的码本信息来重建频谱，能更轻量化且高效地完成频谱构建操作，保障了语音合成的可靠性和高质量；此外，直接依据不受约束的文本输入来产生音频，能够生成自然、生动的音频，实现了较佳的定量结果。

技术领域

本发明属于音频处理技术领域，尤其涉及一种音频合成方法、电子设备和存储介质。

背景技术

随着音频技术的不断普及，各式各样的音频合成需求正不断渗透至人们生活、工作的各个方面，例如语音导航、新闻TTS播报，等等。

目前，市面上通用的声音生成的技术主要着眼于生成特定种类的声音如基于文本的语音生成或者基于乐谱的音乐生成。

但是，过往的音频生成技术主要关注特定的声音类，如语音或音乐，其形式和内容受到很大限制。最近的研究将视觉线索作为合成一般音频的条件。

此外，对于直接以自然语言描述作为线索来生成多样化的自然声音，目前业界的相关研究甚少。与视觉信息不同，文本描述本质上是简洁的，但其背后隐藏着丰富的含义，并对生成音频的可能性和复杂性提出了更高的要求。

针对上述问题，目前业界暂未提供较佳的解决方案。

发明内容

本发明实施例提供一种音频合成方法、电子设备和存储介质，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种音频合成方法，包括：获取待进行音频合成的目标语句所对应的文本特征向量；确定所述文本特征向量所对应的目标码本信息；基于预设的码本解码器，确定所述目标码本信息所对应的目标频谱图；根据所述目标频谱图，生成所述目标语句所对应的合成音频。

第二方面，本发明实施例提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法的步骤。

第三方面，本发明实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述方法的步骤。

第四方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述方法的步骤。

本发明实施例的有益效果在于：

在对语句进行对应音频合成操作时，利用与语句的文本特征向量相对应的码本信息来重建频谱，能更轻量化且高效地完成频谱构建操作，保障了语音合成的可靠性和高质量；此外，直接依据不受约束的文本输入来产生音频，能够生成自然、生动的音频，实现了较佳的定量结果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本申请实施例的音频合成方法的一示例的流程图；

图2示出了图1中的步骤110的实施过程的一示例的流程图；

图3示出了图2中的步骤230的实施过程的一示例的流程图；

图4示出了根据本申请实施例的音频合成方法的一示例的流程图；