[发明专利]一种基于任务层面课程式学习的非自回归机器翻译模型的训练方法和训练系统

说明书

本发明公开了一种基于任务层面课程式学习的非自回归机器翻译模型的训练方法和训练系统，属于非自回归机器翻译领域。本发明中，首先建立基于Transformer的机器翻译模型，将所述Transformer模型解码器中的多头自注意力机制替换为causal‑k自注意力机制，获得TCL‑NAT模型，然后通过调整causal‑k自注意力机制中的参数k，将训练过程依次划分为AT训练阶段(k＝1)，SAT训练阶段(1kN)和NAT训练阶段(k＝N)，并在SAT训练阶段引入任务窗口的概念，在同一阶段同时训练多个并行度不同的任务，从而使模型能够平稳地从一个训练阶段过渡到另一个训练阶段，有效提高了非自回归机器翻译模型的准确率。

技术领域

本发明涉及非自回归机器翻译领域，尤其涉及一种基于任务层面课程式学习的非自回归机器翻译模型的训练方法和训练系统。

背景技术

近年来，神经机器翻译(NMT)快速发展。通常，NMT采取编码器-解码器框架，目前解码器生成目标语句的主流方法为自回归方法，自回归方法的特点是当前单词的生成依赖于于之前单词的预测结果和来自编码器的源上下文。虽然采用自回归方式的NMT的精确性达到了人类的水平，但由于自回归方式必须逐词翻译，即在推理过程中，后面的单词一定要等前面所有单词都推理出来才能进行推理，在句子较长时，这种方法也伴随有较高的推理延迟。因此，非自回归翻译(NAT)提出了并行生成目标单词的方法，可以大大加快推理过程。

对于非自回归方法，每个单词的预测不再参照于前面的单词，因此NAT的准确性低于自回归翻译(AT)，采用传统的NAT训练方法较难训练，且最终得到的NAT模型翻译准确率较低。目前已有研究表明，并行度较小的任务(即并行生成单词数量较少的任务)训练得到的模型准确性较高。因此，如果可以将模型从AT转移到NAT，就可以有效提高NAT模型的准确性。

由于AT和NAT是两个相差甚远的任务，因此在AT训练后直接转移到NAT训练是不可行的，需要探究一种将模型训练从AT平稳转移到NAT的训练方法，提升最终的模型准确性。

发明内容

为了解决现有的非自回归机器翻译模型准确率较低的问题，本发明从模型的训练方法着手，提出了一种基于任务层面课程式学习的非自回归机器翻译模型的训练方法和训练系统，本发明采用任务层面的课程式学习方法，将模型从AT逐步转移到NAT。

课程式学习指模仿人类从易到难的学习过程，将训练实例按照从简单到困难的顺序提供给模型，本发明采用的任务层面的课程式学习指的是将翻译任务从较容易的训练任务(AT)，转移到中间任务，即半自回归翻译(SAT)，再转移到较困难的训练任务(NAT)。

为了实现上述目的，本发明采用如下技术方案：

一种基于任务层面课程式学习的非自回归机器翻译模型的训练方法，所述方法包括：

步骤1：建立机器翻译模型，包括编码器和解码器，所述的编码器采用Transformer模型中的编码器，所述的解码器通过将Transformer模型中的解码器中多头自注意力机制替换为causal-k自注意力机制得到，所述的causal-k自注意力机制通过参数k来调整每次迭代并行产生的单词数量；

步骤2：获取源语句训练集，所述的源语句训练集标注有参考翻译结果语句；

步骤3：将训练过程预先划分为三个阶段：当k＝1时，为AT训练阶段；当1kN 时，为SAT训练阶段，N用于表示源语句的参考翻译结果语句的长度；当k＝N时，为 NAT训练阶段；并设定每一个训练阶段停止训练的条件；

步骤4：设计pacing函数，使得k＝f(i)∈{2,4,8,16}，其中f(i)表示pacing函数，i表示SAT训练阶段的第i次迭代；