[发明专利]音频合成及相应的模型训练方法、装置、设备及存储介质

权利要求书

1.一种声学模型的训练方法，其中，所述方法包括：

对采集的多条训练音频中至少一条训练音频进行切分，得到多个训练音频切片；各所述训练音频切片的长度大于预设阈值，且不同所述训练音频切片之间没有重叠；

将所述多条训练音频及采集的对应的训练文本、与所述多个训练音频切片进行排列组合，得到多条训练数据；所述训练数据中所述训练音频切片与所述训练文本解耦；

采用所述多条训练数据对声学模型进行训练；所述声学模型包括声学特征提取模型、编码器和解码器；所述声学模型用于实现音频合成。

2.根据权利要求1所述的方法，其中，采用所述多条训练数据对声学模型进行训练，包括：

对于各条所述训练数据，采用所述声学模型中的声学特征提取模型提取所述训练数据中的所述训练特征音频切片的声学特征信息，得到训练声学特征信息；

采用所述声学模型中的编码器对所述训练数据中的训练文本进行编码，得到训练文本编码特征信息；

采用所述声学模型中的解码器，基于所述训练声学特征信息和所述训练文本编码特征信息进行解码，得到预测音频；

基于所述预测音频和所述训练数据中的所述训练音频，构建损失函数；

若损失函数不收敛，对所述声学特征提取模型、所述编码器和所述解码器进行参数调整，使得所述损失函数趋于收敛。

3.根据权利要求1或者2所述的方法，其中，对采集的多条训练音频中至少一条训练音频进行切分，得到多个训练音频切片之前，所述方法还包括：

采集所述多条训练音频和各所述训练音频对应的所述训练文本。

4.一种声学模型的训练装置，其中，所述装置包括：

切分模块，用于对采集的多条训练音频中至少一条训练音频进行切分，得到多个训练音频切片；各所述训练音频切片的长度大于预设阈值，且不同所述训练音频切片之间没有重叠；

组合模块，用于将所述多条训练音频及采集的对应的训练文本、与所述多个训练音频切片进行排列组合，得到多条训练数据；所述训练数据中所述训练音频切片与所述训练文本解耦；

训练模块，用于采用所述多条训练数据对声学模型进行训练；所述声学模型包括声学特征提取模型、编码器和解码器；所述声学模型用于实现音频合成。

5.根据权利要求4所述的装置，其中，所述训练模块，包括：

提取单元，用于对于各条所述训练数据，采用所述声学模型中的声学特征提取模型提取所述训练数据中的所述训练特征音频切片的声学特征信息，得到训练声学特征信息；

编码单元，用于采用所述声学模型中的编码器对所述训练数据中的训练文本进行编码，得到训练文本编码特征信息；

解码单元，用于采用所述声学模型中的解码器，基于所述训练声学特征信息和所述训练文本编码特征信息进行解码，得到预测音频；

构建单元，用于基于所述预测音频和所述训练数据中的所述训练音频，构建损失函数；

调整单元，用于若损失函数不收敛，对所述声学特征提取模型、所述编码器和所述解码器进行参数调整，使得所述损失函数趋于收敛。

6.根据权利要求4或者5所述的装置，其中，所述装置还包括：

采集模块，用于采集所述多条训练音频和各所述训练音频对应的所述训练文本。

7.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。

8.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-3中任一项所述的方法。