[发明专利]神经网络机器翻译训练方法、系统、介质、设备及应用

权利要求书

1.一种神经网络机器翻译训练方法，其特征在于，所述神经网络机器翻译训练方法包括：

训练基于变压器的双向编码器BERT的mBART模型；

使用双语语料，基于已经训练好的mBART模型进行增量训练；

使用训练得到的模型翻译单语，并构建伪平行数据；

使用伪平行数据和双语语料，基于mBART模型继续进行增量训练；

重复使用双语语料，基于已经训练好的mBART模型进行增量训练、使用训练得到的模型翻译单语，并构建伪平行数据、使用伪平行数据和双语语料，基于mBART模型继续进行增量训练，直到没有提升为止；

使用最新的伪平行数据和双语语料，从零开始训练并构建一个transformer结构的模型；

使用构建得到的模型，翻译单语，构建新的伪平行数据；

使用伪平行数据和双语语料，从零开始再次训练一个 transformer 结构的模型；

重复使用最新的伪平行数据和双语语料，从零开始训练一个transformer结构的模型、使用构建得到的模型，翻译单语，构建新的伪平行数据、使用伪平行数据和双语语料，从零开始再次训练一个 transformer 结构的模型，直到没有提升为止；

根据最新的伪平行数据和双语语料，利用零命中技术，训练直接到中文的模型；

翻译时，在原文前加入_--to_-zh_--标签，直接翻译至中文。

2.如权利要求1所述的神经网络机器翻译训练方法，其特征在于，所述训练基于变压器的双向编码器BERT的mBART模型，包括：

（1）在基于变压器的双向编码器BERT的基础上，添加自回归的解码器；

（2）使用多个语种训练，即可得到最后的mBART模型。

3.如权利要求2所述的神经网络机器翻译训练方法，其特征在于，添加自回归的解码器的双向编码器BERT输入多语种的单语，在每个输入加入语种的识别标识。

4.如权利要求3所述的神经网络机器翻译训练方法，其特征在于，所述输入多语种的单语的处理包括词屏蔽、词删除、句子置换、文档置换和文本填充。

5.如权利要求3所述的神经网络机器翻译训练方法，其特征在于，词表是基于单语构建得到的。

6.如权利要求1所述的神经网络机器翻译训练方法，其特征在于，在从零开始训练一个transformer结构的模型前，在原文的句子前加入翻译至何种类型语种的标签；混合小语种的伪平行数据和双语语料进行transformer模型训练，得到中文的模型。