[发明专利]一种基于辅助表示融合的非自回归神经机器翻译方法

权利要求书

1.一种基于辅助表示融合的非自回归神经机器翻译方法，其特征在于包括以下步骤：

1)采用基于自注意力机制的Transformer模型，构造一个包含编码器和解码器的自回归神经机器翻译模型；

2)构建训练平行语料，进行分词和字词切分预处理，得到源语序列和目标语序列，生成机器翻译词表后，训练一个只有一层解码器的模型直到模型收敛；

3)移除Transformer模型中原有解码器对未来信息屏蔽的矩阵，同时在自注意力和编码解码注意力之间加入多头位置注意力，构造非自回归神经机器翻译模型；

4)使用浅层的自回归模型解码出源语的按规定比例设置的前一部分词，将自回归神经机器翻译模型解码器最顶层的前馈神经网络后的输出与非自回归神经机器翻译模型编码器的顶层表示进行加权融合，作为非自回归神经机器翻译模型解码器的输入；

5)使用平行语料训练通过融合表示作为输入的非自回归神经机器翻译模型，编码器对源语句子进行编码，提取源语句子信息，解码器根据该源语句子信息来预测对应的目标语句子；然后计算预测出的数据分布与真实数据分布的差异，通过反向传播的方式不断减少该差异，直到模型收敛完成非自回归神经机器翻译模型的训练过程；

6)将用户输入的源语句子送入非自回归神经机器翻译模型中，解码出不同长度的翻译结果，并通过自回归神经机器翻译模型的评价选取最优的翻译结果。

2.按权利要求1所述的基于辅助表示融合的非自回归神经机器翻译方法，其特征在于：步骤3)中构造非自回归神经机器翻译模型，具体为：

301)移除解码端对未来信息屏蔽的矩阵后对翻译问题进行建模：

其中，X为源语序列，Y为目标语序列，T为目标语序列长度，T′为源语序列长度，t为目标语的位置，x_1…T′为源语句子，y_t为第t个位置的目标语词；

302)在每个解码器层中添加额外的多头位置注意力模块，该模块为：

其中，Q为查询矩阵，K为键矩阵，V为值矩阵，softmax(.)为归一化函数，Attention(.)为注意力计算函数，d_k为键矩阵的维度；

303)在解码开始之前，使用源语长度对目标语长度进行预估并将预估的目标语长度数据送至非自回归神经机器翻译模型，以便并行生成所有单词。

3.按权利要求1所述的基于辅助表示融合的非自回归神经机器翻译方法，其特征在于：步骤4)中使用自回归模型的翻译结果来改进非自回归神经机器翻译模型的输入，具体为：

401)非自回归机器翻译模型解码端的输入，如下所示：

其中，θ_at和θ_nat分别是自回归神经机器翻译模型和非自回归神经机器翻译模型的参数，T为目标语序列长度，T′为源语序列长度，y_t为第t个位置的目标语词，x_1...T′为源语句子，y＜t为第1到t-1个目标词，z_nat是非自回归神经机器翻译模型解码端的输入；

402)构造表示融合函数，采用加权和的方式，具体为：

Fusion＝λDecoder^at(y_1...k)+μEncoder^nat(x_1...T′)

其中，λ和μ是控制不同表示项权重的超参数，Decoder^at(.)是自回归神经机器翻译模型解码器的输出，Encoder^nat(.)是非自回归神经机器翻译模型解码器的输出，y_1...k为第1到k个词，x_1...T′为源语句子；

403)将上述计算得到的融合表示送入解码器之前，通过应用层归一化操作来归一化前向层输入和后向层梯度。