[发明专利]非自回归翻译模型的训练方法及其装置

权利要求书

1.一种非自回归翻译模型的训练方法，包括：

获取第一源语言文本、所述第一源语言文本对应的第一目标语言文本和所述第一目标语言文本的第一目标长度；

将所述第一源语言文本输入至待训练的非自回归翻译模型中，以生成第一目标语言预测文本和第一预测长度，其中，所述待训练的非自回归翻译模型的初始化参数是根据预训练翻译模型的参数确定的，所述预训练翻译模型的训练数据为第一混合文本和第二混合文本，所述第一混合文本中包括依次排列的第二源语言文本、分隔符和第二目标语言文本，所述第二混合文本中包括依次排列的所述第二源语言文本对应的第三目标语言文本、所述分隔符和所述第二目标语言文本对应的第三源语言文本；以及

根据所述第一目标语言文本、所述第一目标语言预测文本、所述第一目标长度和所述第一预测长度，对所述待训练的非自回归翻译模型进行训练，得到非自回归翻译模型。

2.根据权利要求1所述的训练方法，其中，所述待训练的非自回归翻译模型的编码器的初始化参数是根据所述预训练翻译模型的编码器的参数确定的，所述待训练的非自回归翻译模型的解码器的初始化参数是根据所述预训练翻译模型的解码器的参数确定的。

3.根据权利要求1所述的训练方法，还包括：

获取所述第一混合文本、所述第二混合文本和所述第二混合文本的第二目标长度；

将所述第一混合文本输入至待训练的预训练翻译模型中，以生成混合预测文本和第二预测长度；以及

根据所述第二混合文本、所述混合预测文本、所述第二目标长度和所述第二预测长度，对所述待训练的预训练翻译模型进行训练，得到所述预训练翻译模型。

4.根据权利要求3所述的训练方法，其中，所述待训练的预训练翻译模型通过以下步骤生成所述混合预测文本和所述第二预测长度：

所述待训练的预训练翻译模型中的编码器对所述第一混合文本进行编码，以生成混合编码信息；

所述待训练的预训练翻译模型中的长度预测器根据所述混合编码信息生成所述第二预测长度；

所述待训练的预训练翻译模型根据所述第一混合文本生成混合掩码文本；以及

所述待训练的预训练翻译模型中的解码器根据所述第二预测长度和所述编码信息对所述混合掩码文本进行解码，以生成所述混合预测文本。

5.根据权利要求4所述的训练方法，其中，所述待训练的预训练翻译模型根据所述第一混合文本生成混合掩码文本，包括：

所述待训练的预训练翻译模型随机对所述第一混合文本中的词进行掩码操作，以生成所述混合掩码文本。

6.一种非自回归翻译模型的训练装置，包括：

第一获取模块，用于获取第一源语言文本、所述第一源语言文本对应的第一目标语言文本和所述第一目标语言文本的第一目标长度；

第一生成模块，用于将所述第一源语言文本输入至待训练的非自回归翻译模型中，以生成第一目标语言预测文本和第一预测长度，其中，所述待训练的非自回归翻译模型的初始化参数是根据预训练翻译模型的参数确定的，所述预训练翻译模型的训练数据为第一混合文本和第二混合文本，所述第一混合文本中包括依次排列的第二源语言文本、分隔符和第二目标语言文本，所述第二混合文本中包括依次排列的所述第二源语言文本对应的第三目标语言文本、所述分隔符和所述第二目标语言文本对应的第三源语言文本；以及

第一训练模块，用于根据所述第一目标语言文本、所述第一目标语言预测文本、所述第一目标长度和所述第一预测长度，对所述待训练的非自回归翻译模型进行训练，得到非自回归翻译模型。

7.根据权利要求6所述的训练装置，其中，所述待训练的非自回归翻译模型的编码器的初始化参数是根据所述预训练翻译模型的编码器的参数确定的，所述待训练的非自回归翻译模型的解码器的初始化参数是根据所述预训练翻译模型的解码器的参数确定的。