[发明专利]语音合成方法、装置、服务器及存储介质

说明书

本申请涉及人工智能中的语音处理，提供一种语音合成方法、装置、服务器及存储介质，该方法包括：调用待训练的语音合成模型；将语音样本输入参考编码器进行编码处理，以提取语音数据的韵律特征向量和音色特征向量；将韵律特征向量、音色特征向量以及文本特征向量输入嵌入层进行叠加操作，得到目标特征向量；将目标特征向量输入解码器进行解码处理，以获取语音数据的预测梅尔频谱；根据预测梅尔频谱和语音数据的真实梅尔频谱，调整语音合成模型的模型参数，直至语音合成模型收敛；将待合成语音的目标语音情绪标签和目标身份标签输入至收敛的语音合成模型，得到梅尔频谱；根据梅尔频谱生成目标语音信息。本申请提高语音合成的效率。

技术领域

本申请涉及语音处理的技术领域，尤其涉及一种语音合成方法、装置、服务器及存储介质。

背景技术

声音作为文字内容的载体之一，能够在日常生活中有效地进行信息传递，因此语音交互技术一直都是人们关注的对象。例如，客服系统的语音交互过程涉及大量的语音合成场景，从智能客服到短视频智能配音或者有声书等都是长时间的语音交互过程，因而目前的语音合成以追求提高用户的感知体验为主。目前市面上的语音合成产品多采用语音合成模型，语音合成模型的训练样本涉及不同场景、人物、情感等要素，训练样本的数量非常庞大，实现语音合成的效率较低。因此，如何提高语音合成的效率成为了亟需解决的问题。

发明内容

本申请的主要目的在于提供一种语音合成方法、装置、服务器及存储介质，旨在提高语音合成的效率。

第一方面，本申请提供一种语音合成方法，包括：

获取语音样本，所述语音样本包括用户的语音数据、所述语音数据对应的语音情绪标签和所述用户的身份标签；

调用待训练的语音合成模型，所述语音合成模型包括参考编码器、嵌入层和解码器；

将所述语音样本输入所述参考编码器进行编码处理，以提取所述语音数据的韵律特征向量和音色特征向量，其中，所述韵律特征向量是根据所述语音情绪标签对所述语音数据编码得到的，所述音色特征向量是根据所述身份标签对所述语音数据编码得到的；

将所述韵律特征向量、所述音色特征向量以及与所述语音数据对应的文本特征向量输入所述嵌入层进行叠加操作，得到目标特征向量；

将所述目标特征向量输入所述解码器进行解码处理，以获取所述语音数据的预测梅尔频谱；

获取所述语音数据的真实梅尔频谱，并根据所述预测梅尔频谱和真实梅尔频谱，调整所述语音合成模型的模型参数，直至所述语音合成模型收敛；

获取待合成语音的目标语音情绪标签和目标身份标签，将所述目标语音情绪标签和所述目标身份标签输入至收敛的所述语音合成模型，得到所述待合成语音的梅尔频谱；

根据所述待合成语音的梅尔频谱，生成目标语音信息。

第二方面，本申请还提供一种语音合成装置，所述语音合成装置包括：

获取模块，用于获取语音样本，所述语音样本包括用户的语音数据和所述语音数据对应的语音情绪标签和所述用户的身份标签；

调用模块，用于调用待训练的语音合成模型，所述语音合成模型包括参考编码器、嵌入层和解码器；

编码模块，用于将所述语音样本输入所述参考编码器进行编码处理，以提取所述语音数据的韵律特征向量和音色特征向量，其中，所述韵律特征向量是根据所述语音情绪标签对所述语音数据编码得到的，所述音色特征向量是根据所述身份标签对所述语音数据编码得到的；

叠加模块，用于将所述韵律特征向量、所述音色特征向量以及与所述语音数据对应的文本特征向量输入所述嵌入层进行叠加操作，得到目标特征向量；

解码模块，用于将所述目标特征向量输入所述解码器进行解码处理，以获取所述语音数据的预测梅尔频谱；