[发明专利]中英文混合的语音合成方法、装置、电子设备和存储介质

说明书

本发明涉及语言处理技术领域，提供一种中英文混合的语音合成方法、装置、电子设备和存储介质。所述语音合成方法包括：对包含中文文本和英文文本的初始文本进行正则化，将所述中文文本转换成带音调的拼音，将所述英文文本转换成单词；将正则化后的文本与对应的初始音频对齐，获得带停顿韵律的对齐文本；对所述对齐文本进行音素转换，将所述对齐文本中的拼音和单词分别转换成对应的CMU音素；将每个CMU音素转换成音素向量输入声学模型，获得对应于所述初始文本的梅尔谱特征；将所述梅尔谱特征输入声码器，合成目标音频。本发明通过将中文和英文转换成统一的CMU音素，实现将中英文发音映射至同一发音空间中，有效提升中英文混合语音的合成效果。

技术领域

本发明涉及语言处理技术领域，具体地说，涉及一种中英文混合的语音合成方法、装置、电子设备和存储介质。

背景技术

大型的在线旅行服务公司有大量的用户需要服务，通过语音合成技术，结合语音识别、对话管理、自然语言理解以及自然语言生成等模块建立外呼机器人，能够节省人工成本并高效服务用户。其中，语音合成的播报效果对能否使用户获得更好的服务体验起到至关重要的作用。

随着旅游业务的不断拓展，产生大量的海外服务和海外用户需要对接，大量的中英文混合信息需要进行播报。基于此，建立了中英文混合的语音合成模型(下文简称模型)，主要思想是用一个人的声音合成出中英文混合文本的音频。

模型在训练时，采用两个说话人录制数据集，由中文说话人录制中文数据集，英文说话人录制英文数据集，送入模型中学习中英文音素对应的发音；合成时，控制说话人声音保持不变，得到同一说话人的音频。

但是，由于中英文两种语音的音素到梅尔(Mel)频谱的映射空间分布有很大差异，模型很难将中英文的发音同时学好。具体来说，模型在学习音素到梅尔频谱的映射时，中文音频送入的音素是特征(Character)级别的拼音，例如：“拼音”送入现有模型的是“pin1yin1”；英文音频送入的是Character级别的大写英文单词或字母，例如：WORDS。中英文虽然送入模型的Character相同，但是两种语音在发相同音时送入模型的音素却不统一，导致模型受到说话人影响，合成效果有瑕疵。

需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种中英文混合的语音合成方法、装置、电子设备和存储介质，能够将中文和英文转换成统一的CMU音素，实现将中英文发音映射至同一发音空间中，有效提升中英文混合语音的合成效果。

本发明的一个方面提供一种中英文混合的语音合成方法，包括：对包含中文文本和英文文本的初始文本进行正则化，将所述中文文本转换成带音调的拼音，将所述英文文本转换成单词；将正则化后的文本与对应的初始音频对齐，获得带停顿韵律的对齐文本；对所述对齐文本进行音素转换，将所述对齐文本中的拼音和单词分别转换成对应的CMU音素；将每个CMU音素转换成音素向量输入声学模型，获得对应于所述初始文本的梅尔谱特征；将所述梅尔谱特征输入声码器，合成目标音频。

在一些实施例中，所述对所述对齐文本进行音素转换之前，还包括：获得覆盖所有拼音的声母和韵母，并获得CMU发音词典；建立第一转换关系，使每个声母和每个韵母根据所述第一转换关系映射至所述CMU发音词典中对应的CMU音素，且每个音调根据所述第一转换关系转换成不同于所述CMU发音词典中的重读标识的数字标识；建立第二转换关系，使不在所述CMU发音词典中的单词根据所述第二转换关系转换成对应的CMU音素。

在一些实施例中，所述对所述对齐文本进行音素转换，包括：根据所述第一转换关系，将所述对齐文本中的拼音转换成对应的CMU音素；根据所述CMU发音词典和/或所述第二转换关系，将所述对齐文本中的单词转换成对应的CMU音素；以及，返回所述对齐文本中的停顿韵律。