[发明专利]基于G-Transformer的机器翻译方法研究

权利要求书

1.一种基于G-Transformer的机器翻译方法研究，其特征在于：所述基于G-Transformer的机器翻译方法研究借助循环神经网络GRU和完全的自注意力网络Tranformer进行设计，循环神经网络GRU负责对用于机器翻译的词向量进行重编码，利用循环神经网络的特性输出考虑了句子上下文信息的向量，完全的自注意力网络Tranformer负责对前者生成的词向量进行再编码，从而实现后续翻译，该基于G-Transformer的机器翻译方法研究建模过程包括如下步骤：

(1)模型由三个部分组成，用于将一种语言(源语言)翻译成另一种语言(目标语言)；

(2)第一部分是一个循环神经网络GRU,主要是为词向量融入句子信息，使得输入机器翻译模型的词向量不再孤立，它的输入是表示每个单词语义信息的词向量，输出是与输入对应的融入了句子信息的向量；

第二部分是神经网络翻译模型Transformer的编码器，主要是对机器翻译中的源语言进行编码，它的输入是第一部分的输出，输出是对句子进行编码后的句子向量；

第三部分是神经网络翻译模型Transformer的解码器，主要是对编码器生成的向量进行解码生成目标语言，它的输入是第二部分的输出；

(3)第一部分的输出是第二部分的输入，第二部分的输出是第三部分的输入；

(4)神经网络翻译模型操作过程：

A准备语料：准备用于机器翻译模型训练的平行语料，并对其进行预处理；

B模型训练：将源语言的语料输入循环神经网络，将循环神经网络的输出输入Transformer编码器，将Transformer编码器的输出输入Transformer解码器；

C模型评估：使用测试集对训练的模型进行评价。