[发明专利]音频合成及相应的模型训练方法、装置、设备及存储介质

说明书

本公开提供了一种音频合成及相应的模型训练方法、装置、设备及存储介质，涉及深度学习、语音技术与自然语言处理等人工智能技术领域。具体实现方案为：对指定音频进行切分，得到多个音频切片；采用预先训练的声学特征提取模型提取各所述音频切片对应的声学特征信息，得到多个声学特征信息；基于所述多个声学特征信息和指定文本，采用预先训练的编码器和解码器，合成相应的音频。本公开还提供了一种对声学模型的训练方案。

技术领域

本公开涉及计算机技术领域，具体涉及深度学习、语音技术与自然语言处理等人工智能技术领域，尤其涉及一种音频合成及相应的模型训练方法、装置、设备及存储介质。

背景技术

语音合成的应用越来越广。目前的语音合成主要包括声学模型和声码器两部分，其中声学模型用于将文本或音素转成音频，之后由声码器将音频转化为语音。

现有技术中，声学模型的训练一般需要较多的数据，例如，要学习某个说话人的音色和/或风格等特征信息，若采集到该说话人的少于20条语音，声学模型就难以准确地学习到该说话人的音色和/或风格等特征信息。

发明内容

本公开提供了一种音频合成及相应的模型训练方法、装置、设备及存储介质。

根据本公开的一方面，提供了一种音频合成方法，其中，所述方法包括：

对指定音频进行切分，得到多个音频切片；

采用预先训练的声学特征提取模型提取各所述音频切片对应的声学特征信息，得到多个声学特征信息；

基于所述多个声学特征信息和指定文本，采用预先训练的编码器和解码器，合成相应的音频。

根据本公开的另一方面，提供了一种声学模型的训练方法，其中，所述方法包括：

对采集的多条训练音频中至少一条训练音频进行切分，得到多个训练音频切片；

将所述多条训练音频及采集的对应的训练文本、与所述多个训练音频切片进行排列组合，得到多条训练数据；

采用所述多条训练数据对声学模型进行训练。

根据本公开的再一方面，提供了一种音频合成装置，其中，所述装置包括：

切分模块，用于对指定音频进行切分，得到多个音频切片；

提取模块，用于采用预先训练的声学特征提取模型提取各所述音频切片对应的声学特征信息，得到多个声学特征信息；

合成模块，用于基于所述多个声学特征信息和指定文本，采用预先训练的编码器和解码器，合成相应的音频。

根据本公开的又一方面，提供了一种声学模型的训练装置，其中，所述装置包括：

切分模块，用于对采集的多条训练音频中至少一条训练音频进行切分，得到多个训练音频切片；

组合模块，用于将所多条述训练音频及采集的对应的训练文本、与所述多个训练音频切片进行排列组合，得到多条训练数据；

训练模块，用于采用所述多条训练数据对声学模型进行训练。

根据本公开的再另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方面和任一可能的实现方式的方法。