[发明专利]一种基于Transformer和WaveNet的蒙古语语音合成方法

权利要求书

1.一种基于Transformer和WaveNet的蒙古语语音合成方法，其特征在于，包括如下步骤：

步骤1，基于Encoder-Decoder模型，对蒙古语进行G2P(Grapheme-to-Phoneme)转换，将经过拉丁校正的蒙古语文本转换为对应的音素序列；

步骤2，基于Transformer的声学模型，根据音素序列生成声学特征；

步骤3，以WaveNet模型为声码器，进行声学特征到语音波形的转换。

2.根据权利要求1所述基于Transformer和WaveNet的蒙古语语音合成方法，其特征在于，所述步骤1中，先对输入的蒙古语文本进行特殊字符转换，将文本中出现的特殊字符根据上下文信息转写为对应的蒙古语书写形式，然后对经过特殊字转换的文本进行校正，校正之后的文本进行拉丁转换，将蒙古语文本转换为对应的拉丁形式。

3.根据权利要求1或2所述基于Transformer和WaveNet的蒙古语语音合成方法，其特征在于，基于Encoder-Decoder模型的解码流程包括：

第一步，将输入序列映射到一个向量；

第二步，基于学习向量生成输出序列表示。

4.根据权利要求3所述基于Transformer和WaveNet的蒙古语语音合成方法，所述Encoder-Decoder模型中，编码器和解码器均采用LSTM结构，编码器根据输入序列计算相应的隐层状态序列h＝(h₁,...,h_T)和记忆状态序列m＝(m₁,...,m_T)，如下列公式：

i_t＝sigmoid(W₁x_t+W₂h_t-1)

f_t＝sigmoid(W₅x_t+W₆h_t-1)

o_t＝sigmoid(W₇x_t+W₈h_t-1)

h_t＝m_t⊙o_t

其中i_t为输入门，W₁,W₂,W₃,W₄,W₅,W₆,W₇,W₈是模型的参数，(x₁,...,x_t,...,x_T)为输入序列，x_t为t时刻输入的字符序列，T为序列总长度，h_t-1为x_t-1对应的隐层状态，为表示单元状态更新值，f_t为遗忘门，o_t为输出门，m_t为隐含单元所传递的状态，操作符⊙代表元素相乘；

解码器生成与输入相对应的输出序列即音素序列，解码过程中，解码器根据前一时刻音素y_t-1及当前单元隐状态s_t和注意力向量c_t来预测当前音素y_t，其条件概率使用以下公式进行建模：

P(y_t|y₁,…,y_t-1,x)＝g(y_t-1,s_t,c_t)

T_B为输出序列的长度，x为字符序列，g是一个非线性的，隐含多层的函数，用来得到y_t的条件概率，s_t代表在时刻t时解码器的隐状态，s_t＝f(s_t-1,y_t-1,c_t)，f代表LSTM单元，注意力向量c_t结合s_t成为一个新的隐状态即下一刻的隐藏状态去预测y_t，通过输入的蒙古语字母序列来计算注意力向量c_t，公式如下：

其中，T_A是输入序列的长度，向量v和矩阵b_a是训练得到的模型参数，向量的长度为T_A，它的第i个元素包含了第i个编码器LSTM单元隐状态所占的权重，将权重通过softmax生成计算注意力向量的中间值b_a是训练得到的模型参数，h_i是第i的元素的隐藏状态，h_t是第t个元素的隐藏状态。