[发明专利]模型训练及数据处理方法、装置、电子设备、存储介质

说明书

本公开实施例公开了一种模型训练及数据处理方法、装置、电子设备、存储介质，方法包括：获得训练数据，所述训练数据包括第一原文、第一译文和第一译后参考译文；利用所述训练数据对译后编辑模型进行训练：使用预训练的语言模型作为所述译后编辑模型的编码器；所述编码器的初始参数为所述预训练的语言模型的参数；将所述训练数据经过所述编码器进入所述译后编辑模型的解码器；根据所述解码器的输出对所述译后编辑模型的参数进行调整。本公开利用大量的预训练数据学习原文及其对应的译文之间的语义知识，并将该语义知识迁移到译后编辑模型的训练过程中，使得译后编辑模型更具有鲁棒性，同时还解决了训练数据这类三元组获取成本较高的问题。

技术领域

本公开涉及计算机技术领域，具体涉及一种模型训练及数据处理方法、装置、电子设备、存储介质。

背景技术

机器翻译是指利用计算机程序将语句从一种自然语言(源语言)翻译成另一种自然语言(目标语言)的技术。目前较为常用的神经网络架构Transformer是一个完全基于注意力机制(attention-based)的编码器-解码器(encoder-decoder)模型。其主要思想是将待翻译的语句(在下文中统称为原文)经过编码器(encoder)编码成为一个向量表示，然后利用解码器(decoder)对原文的向量表示进行解码，翻译成为其对应的译文(在下文中统称为译文。

为了在机器翻译基础上得到更好的翻译效果，通常会由相关人员对机器翻译的译文进行译后编辑，但是这种方式将会消耗大量的人力成本。因此，如何节省人工成本以及提高译后编辑的效率是机器翻译领域所要解决的主要技术问题之一。

发明内容

本公开实施例提供一种模型训练及数据处理方法、装置、电子设备、存储介质。

第一方面，本公开实施例中提供了一种模型训练方法，包括：

获得训练数据，所述训练数据包括第一原文、第一译文和第一译后参考译文；

利用所述训练数据对译后编辑模型进行训练：

使用预训练的语言模型作为所述译后编辑模型的编码器；所述编码器的初始参数为所述预训练的语言模型的参数；

将所述训练数据经过所述编码器进入所述译后编辑模型的解码器；

根据所述解码器的输出对所述译后编辑模型的参数进行调整。

进一步地，所述将所述训练数据经过所述编码器进入所述译后编辑模型的解码器，包括：

所述编码器利用自注意力机制对所述第一原文进行处理，得到第一原文特征；

所述编码器利用注意力机制对所述第一原文特征和所述第一译文进行处理，得到第一联合特征；

将所述第一译后参考译文、所述第一原文特征和所述第一联合特征输入所述解码器。

进一步地，所述根据所述解码器的输出对所述译后编辑模型的参数进行调整，包括：

所述解码器利用注意力机制对所述第一译后参考译文、所述第一原文特征和所述第一联合特征进行处理，得到预测联合特征；

利用所述预测联合特征预测所述第一译后参考译文对应的目标预测结果；

利用所述目标预测结果对所述译后编辑模型的参数进行调整。

进一步地，所述利用注意力机制对所述第一译后参考译文、所述第一原文特征和所述第一联合特征进行处理，得到预测联合特征，包括：

利用注意力机制对所述第一联合特征和第一原文特征中的其中之一、所述第一译后参考译文进行处理并输出第一中间特征；

利用注意力机制对所述第一联合特征和第一原文特征中的其中之另一、所述第一中间特征进行编码后输出所述预测联合特征。