[发明专利]语音合成方法及装置、语音合成模型的训练方法及装置

说明书

本申请提供了一种语音合成方法及装置、语音合成模型的训练方法及装置，该方法包括：确定语音文本中待重读词语的第一位置信息，并对语音文本进行韵律预测，得到至少一个第一韵律预测结果，第一韵律预测结果包括音调预测结果、音量预测结果以及发音时长预测结果中的至少一种；对至少一个第一韵律预测结果中与第一位置信息对应语音文本的韵律预测结果进行重读调整，以得到至少一个第二韵律预测结果，重读调整包括调高音调、增大音量以及降低发音时长中的至少一种；根据至少一个第二韵律预测结果，生成语音合成结果。本申请能够实现合成语音(即语音合成结果)在指定字、词位置重读，提高了合成语音的表现力，使得合成语音在对话应用中更加自然。

技术领域

本申请涉及语音处理领域，具体涉及一种语音合成方法及装置、语音合成模型的训练方法及装置。

背景技术

当前人工智能(Artificial Intelligence,AI)方兴未艾，基于深度神经网络的语音合成研究也日趋成熟。人们在自然交流中，语音会抑扬顿挫，对强调的词句会重读，以便于让听者能够抓住重点。例如“我喜欢饼干”这句话，说话人在表述的时候，为强调喜欢的东西，通常会重读“饼干”一词，或为强调饼干为自己喜欢的东西时，会重读“喜欢”一词，但没有重读效果的合成语音，通常整句话都重读，或整句话都不重读，使得听者难以抓到重点，因而使得合成后的语音缺乏感染力。因此，语音合成技术要想模拟真人的交流语音，需要有可控的重音合成能力。

鉴于此，如何实现字、词级别的重读控制，让合成语音更富有变化的表现力成为亟待解决的技术问题。

发明内容

有鉴于此，本申请实施例提供了一种语音合成方法及装置、语音合成模型的训练方法及装置，能够实现合成语音在指定字、词位置重读，提高了合成语音的表现力。

第一方面，本申请的实施例提供了一种语音合成方法，该方法包括：确定语音文本中待重读词语的第一位置信息，并对语音文本进行韵律预测，得到至少一个第一韵律预测结果；对至少一个第一韵律预测结果中与第一位置信息对应语音文本的韵律预测结果进行重读调整，以得到至少一个第二韵律预测结果，其中重读调整包括调高音调、增大音量以及降低发音时长中的至少一种；根据至少一个第二韵律预测结果，生成语音合成结果。

第二方面，本申请的实施例提供了一种语音合成模型的训练方法，包括：根据样本数据确定每个说话人的语音样本数据的样本音调谱；计算样本音调谱的样本均值和样本标准差；基于样本均值和样本标准差，对样本音调谱进行正则化处理；基于正则化处理后的样本音调谱，对语音合成模型进行训练。

第三方面，本申请的实施例提供了一种语音合成装置，包括：第一确定模块，用于确定语音文本中待重读词语的第一位置信息，并对语音文本进行韵律预测，得到至少一个第一韵律预测结果；调整模块，用于对至少一个第一韵律预测结果中与第一位置信息对应语音文本的韵律预测结果进行重读调整，以得到至少一个第二韵律预测结果，其中重读调整包括调高音调、增大音量以及降低发音时长中的至少一种；生成模块，用于根据至少一个第二韵律预测结果，生成语音合成结果。

第四方面，本申请的实施例提供了一种计算可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述第一方面所述的语音合成方法，或上述第二方面所述的语音合成模型的训练方法。

第五方面，本申请的实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器用于执行上述第一方面所述的语音合成方法，或上述第二方面所述的语音合成模型的训练方法。

本申请实施例提供了一种语音合成方法及装置、语音合成模型的训练方法及装置，通过获取语音文本的至少一个第一音律预测结果，并调整待重读词语对应位置处的音律预测结果，以获取至少一个第二音律预测结果，并根据至少一个第二音律预测结果，获取具有重读效果的语音合成结果，从而实现了词语(或字)级别的重读控制，提高了语音合成结果(即合成语音)的表现力，使得语音合成结果在对话应用中更加自然。

附图说明