[发明专利]一种基于任务层面课程式学习的非自回归机器翻译模型的训练方法和训练系统

权利要求书

1.一种基于任务层面课程式学习的非自回归机器翻译模型的训练方法，其特征在于，所述方法包括：

步骤1：建立机器翻译模型，包括编码器和解码器，所述的编码器采用Transformer模型中的编码器，所述的解码器通过将Transformer模型中的解码器中多头自注意力机制替换为causal-k自注意力机制得到，所述的causal-k自注意力机制通过参数k来调整每次迭代并行产生的单词数量；

步骤2：获取源语句训练集，所述的源语句训练集标注有参考翻译结果语句；

步骤3：将训练过程预先划分为三个阶段：当k＝1时，为AT训练阶段；当1＜k＜N时，为SAT训练阶段，N用于表示源语句中参考翻译结果语句的长度；当k＝N时，为NAT训练阶段；并设定每一个训练阶段停止训练的条件；

步骤4：设计pacing函数，使得k＝f(i)∈{2，4，8，16}，其中f(i)表示pacing函数，i表示SAT训练阶段的第i次迭代；

步骤5：依次将causal-k自注意力机制中的参数k设置为k＝1、k＝f(i)、k＝N，采用步骤2中的源语句训练集对步骤1建立的机器翻译模型分别进行AT训练阶段、SAT训练阶段和NAT训练阶段的训练，最终得到训练好的非自回归机器翻译模型；具体为：

步骤5.1：设定k＝1，进入AT训练阶段，所述的AT训练阶段训练一个样本的过程为：

从源语句训练集中获取一个源语句(x₁，...，x_M)，源语句的参考翻译结果语句为(y₁，...，y_N)，其中x_i表示源语句中的第i个单词，M表示源语句中单词的数量，y_i表示源语句标注的参考翻译结果语句中第i个单词，N表示参考翻译结果语句的长度；将源语句(x₁，...，x_M)作为编码器的输入，将编码器输出和(x₁，y₁，...，y_N-1)作为解码器的输入，得到源语句(x₁，...，x_M)的样本翻译结果；

每次完成一个训练批次后，根据参考翻译结果对模型参数进行调整，完成AT训练阶段的单次迭代训练；重复所述AT训练阶段的单次迭代训练过程，直至得到训练好的AT模型作为初始模型；

步骤5.2：进入SAT训练阶段，首先设计pacing函数用于调整causal-k自注意力机制中的参数k，公式为：

其中，i表示SAT训练阶段的迭代次数，f_exp(i)表示pacing函数，S_SAT表示SAT训练阶段的预设迭代次数，表示向下取整；

SAT训练阶段训练一个样本的过程为：

从源语句训练集中获取一个源语句(x₁，...，x_M)，源语句的参考翻译结果语句为(y₁，...，y_N)，其中x_i表示源语句中的第i个单词，M表示源语句中单词的数量，y_i表示源语句标注的参考翻译结果语句中第i个单词，N表示参考翻译结果语句的长度；在SAT训练阶段的第i次迭代时，计算k＝f_exp(i)，将源语句(x₁，...，x_M)作为编码器的输入，将编码器输出和(x₁，...，x_k，y₁，...，y_N-k)作为解码器的输入，得到源语句(x₁，...，x_M)的样本翻译结果；

每次完成一个训练批次后，根据参考翻译结果对模型参数进行调整，完成SAT训练阶段的第i次迭代训练；重复SAT训练阶段的单次迭代过程，直至i＝S_SAT；

步骤5.3：设定k＝N，进入NAT训练阶段，所述的NAT训练阶段训练一个样本的过程为：

从源语句训练集中获取一个源语句(x₁，...，x_M)，其中x_i表示源语句中的第i个单词，M表示源语句中单词的数量；将所述的源语句(x₁，...，x_M)作为编码器的输入，将编码器输出和源语句(x₁，...，x_M)作为解码器的输入，得到源语句(x₁，...，x_M)的样本翻译结果；

每次完成一个训练批次后，根据参考翻译结果对模型参数进行调整，完成NAT训练阶段的单次迭代训练；重复所述NAT训练阶段的单次迭代训练过程，直至得到训练好的NAT模型作为最终的非自回归机器翻译模型。