[发明专利]多种语言文本语音合成方法

说明书

本公开涉及多种语言(multilingual)文本语音合成(text‑to‑speech synthesis)方法及系统。多种语言文本语音合成方法包括：接收第一学习数据的步骤，上述第一学习数据包含第一语言的学习文本及与第一语言的学习文本相对应的第一语言的学习语音数据；接收第二学习数据的步骤，上述第二学习数据包含第二语言的学习文本及与上述第二语言的学习文本相对应的第二语言的学习语音数据；以及基于第一学习数据及第二学习数据学习第一语言的音素与第二语言的音素之间的相似信息来生成单一人工神经网络文本语音合成模型的步骤。

技术领域

本公开涉及多种语言文本语音合成方法及系统。并且，涉及基于使用第一语言的说话人员的声音特征来将第二语言的文本合成为相应说话人员的语音的方法及装置。

背景技术

通常，被称作文本语音合成(TTS，Text-To-Speech)的语音合成技术为在需要人的语音的应用程序中在未事先录音人的真实语音的情况下使所需语音再生的技术，例如广播通知、卫星导航仪、人工智能秘书等。语音合成的典型方法有连接合成方式(concatenativeTTS)和参数合成方式(parametric TTS)，在连接合成方式中，以音素等非常短的单位预先裁剪并存储语音来通过使构成所要合成的文章的多个音素相结合并合成为语音，在参数合成方式(parametric TTS)中，以参数表示语音的特征并利用声码器(vocoder)来将表示构成所要合成的文章的多个语音特征的多个参数合成为与文章相对应的语音。

另一方面，近来正在积极研究基于人工神经网络(artificial neural network)的语音合成方法，根据该语音合成方法合成的语音呈现出比现有的方法更自然的语音特征。但是，通过基于人工神经网络的语音合成方法呈现新的声音的语音合成器将需要与该声音相对应的很多数据，需使利用该数据的神经网络模型重新进行学习，因而使用人员的便利性将下降。

发明内容

要解决的技术问题

本公开的方法及装置可仅通过与多种语言有关的输入文本(text input)和输出语音(audio output)就能以端到端(end-to-end)方式生成多种语言文本语音合成机器学习模型。并且，本公开的方法及装置能够以反映出说话人员的发声特征、感情特征、韵律特征的方式由文本合成出语音。

技术方案

本公开一实施例的多种语言文本语音合成方法包括：接收第一学习数据的步骤，上述第一学习数据包含第一语言的学习文本及与第一语言的学习文本相对应的第一语言的学习语音数据；接收第二学习数据的步骤，上述第二学习数据包含第二语言的学习文本及与第二语言的学习文本相对应的第二语言的学习语音数据；以及基于第一学习数据及第二学习数据学习第一语言的音素与第二语言的音素之间的相似信息来生成单一人工神经网络文本语音合成模型的步骤。

本公开一实施例的多种语言文本语音合成方法还包括：接收与第一语言有关的说话人员的发声特征的步骤；接收第二语言的输入文本的步骤；以及通过向单一人工神经网络文本语音合成模型输入第二语言的输入文本及与第一语言有关的说话人员的发声特征来生成模仿说话人员的语音的与第二语言的输入文本有关的输出语音数据的步骤。

在本公开一实施例的多种语言文本语音合成方法中，与第一语言有关的说话人员的发声特征通过从说话人员以第一语言发声的语音数据提取特征向量来生成。

本公开一实施例的多种语言文本语音合成方法还包括：接收感情特征(emotionfeature)的步骤；以及通过向单一人工神经网络文本语音合成模型输入第二语言的输入文本、与第一语言有关的说话人员的发声特征及感情特征来生成模仿说话人员的语音的与第二语言的输入文本有关的输出语音数据的步骤。