[发明专利]一种基于Transformer和WaveNet的蒙古语语音合成方法

说明书

本发明一种基于Transformer和WaveNet的蒙古语语音合成方法，基于Encoder‑Decoder模型，对蒙古语进行G2P转换，将经过拉丁校正的蒙古语文本转换为对应的音素序列；基于Transformer的声学模型，根据音素序列生成声学特征；以WaveNet模型为声码器，进行声学特征到语音波形的转换。本发明使用Encoder‑Decoder模型将蒙古语文本转化成音素，可以无缝地集成到端到端的TTS系统，其次使用基于Transformer的声学模型将音素直接生成梅尔频谱，WaveNet声码器直接将梅尔频谱转化为语音波形，降低了对语料以及其它语言学知识的需求，适合于小语种的语音合成。

技术领域

本发明属于人工智能技术领域，涉及语音合成，特别涉及一种基于Transformer和WaveNet的蒙古语语音合成方法。

背景技术

语音合成(Speech Synthesis)技术是指计算机通过分析将任意文本转化为流畅语音的技术。国内外语音合成研究经历了基于共振峰合成、波形拼接，基于统计参数语音合成方法，以及基于深度神经网络的语音合成方法的发展历程。

现有的语音合成研究多集中于主流语言，而类似于蒙古语等冷僻语言由于语料稀缺等问题，其语音合成仍然处在初级阶段。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于Transformer和WaveNet的蒙古语语音合成方法，具有端到端的生成式文本转语音模型，可以直接从字符合成语音，大大降低对语言学知识的要求，同样适用于语料稀缺的其它小语种。

为了实现上述目的，本发明采用的技术方案是：

一种基于Transformer和WaveNet的蒙古语语音合成方法，包括如下步骤：

步骤1，基于Encoder-Decoder模型，对蒙古语进行G2P(Grapheme-to-Phoneme)转换，将经过拉丁校正的蒙古语文本转换为对应的音素序列；

步骤2，基于Transformer的声学模型，根据音素序列生成声学特征；

步骤3，以WaveNet模型为声码器，进行声学特征到语音波形的转换。

其中，步骤1中，先对输入的蒙古语文本进行特殊字符转换，将文本中出现的特殊字符根据上下文信息转写为对应的蒙古语书写形式，然后对经过特殊字转换的文本进行校正，校正之后的文本进行拉丁转换，将蒙古语文本转换为对应的拉丁形式，最后将拉丁形式的序列转换成国际音标序列，即得到音素序列(音素即音标)。

与现有技术相比，本发明的有益效果是：

使用Encoder-Decoder模型将蒙古语文本转化成音素，可以无缝地集成到端到端的TTS系统，其次使用基于Transformer的声学模型将音素直接生成梅尔频谱，WaveNet声码器直接将梅尔频谱转化为语音波形，降低了对语料以及其它语言学知识的需求，适合于小语种的语音合成。

附图说明

图1是本发明流程示意图。

图2是本发明的Encoder-Decoder模型解码流程。

图3是本发明Transformer模型示意图。

图4是本发明的WaveNet模型示意图。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

如图1所示，本发明一种基于Transformer和WaveNet的蒙古语语音合成方法，主要包括三个部分：前端处理、预测梅尔频谱模型、梅尔频谱转换语音。

其具体步骤如下：