[发明专利]机器翻译模型的训练方法、语言翻译方法及设备

说明书

本申请实施例公开了一种机器翻译模型的训练方法、语言翻译方法及设备，涉及自然语言处理的机器翻译领域。该方法包括：对第一双语平行数据库中的数据进行划分，划分为源自源语言数据和源自目标语言数据，通过源自源语言数据对初始机器翻译模型进行微调，得到微调后的机器翻译模型，应用该微调后的机器翻译模型进行翻译任务，能够消除由于不同语言的数据之间存在的语言覆盖偏差对机器翻译模型的影响，从而提高通过该方法训练得到的机器翻译模型的性能，应用该模型可以得到译文质量和忠实度较高的译文。

技术领域

本发明涉及人工智能的自然语言处理领域，尤其涉及一种机器翻译模型的训练方法、语言翻译方法及设备。

背景技术

神经机器翻译近年来迅速崛起。相比统计机器翻译而言，神经机器翻译从模型上来说相对简单，它主要包含两个部分，一个是编码器，一个是解码器。编码器是把源语言经过一系列的神经网络的变换之后，表示成一个高维的向量。解码器负责把这个高维向量再重新解码(翻译)成目标语言。

神经机器翻译模型的训练离不开大规模、高质量的双语平行数据。双语平行数据通常是请人工译员进行翻译所得到的，构建大规模双语平行数据需要耗费巨大的人力资源和时间成本。

然而，双语平行数据中源自不同语言的所覆盖的内容有明显的差异，将该差异称作语言覆盖偏差。通过神经机器翻译模型翻译得到的译文的忠实度与语言覆盖偏差密切相关。因此，双语平行数据中语言覆盖偏差的存在，将会影响通过双语平行数据训练得到的神经机器翻译模型的性能。

发明内容

本申请实施例提供一种机器翻译模型的训练方法、语言翻译方法及设备，应用该机器翻译模型的训练方法可以消除由于双语平行数据库中源自不同语言的双语平行性句对之间存在的语言覆盖偏差对机器翻译模型产生的影响，从而提升应用该方法训练得到的机器翻译模型的性能。

第一方面，本申请实施例提供了一种机器翻译模型的训练方法，包括：获取双语平行数据库，所述双语平行数据库包括多组双语平行句对，所述双语平行句对为由源语言数据和目标语言数据构成的内容对齐的数据，所述双语平行数据库包括第一双语平行数据库；

将所述第一双语平行数据库中的多组双语平行句对划分为源自源语言数据和源自目标语言数据，其中，属于所述源自源语言数据的双语平行句对中的目标语言数据是基于源语言数据翻译得到的，属于所述源自目标语言数据的双语平行句对中的源语言数据是基于目标语言数据翻译得到的；

通过所述源自源语言数据训练第一机器翻译模型，所述第一机器翻译模型用于将源语言翻译为目标语言。

其中，所述将所述第一双语平行数据库中的多个双语平行句对划分为源自源语言数据和源自目标语言数据，包括：

从所述第一双语平行数据库中获取待处理平行句对；

根据待处理平行句对覆盖的内容，确定待处理平行句对的数据类型，所述数据类型包括所述源自源语言数据和所述源自目标语言数据。

其中，所述根据待处理平行句对覆盖的内容，确定待处理平行句对的数据类型，包括：

根据所述待处理平行句对中的源语言数据确定所述待处理平行句对中的源语言数据来源于源语言的第一概率；

根据所述待处理平行句对中的目标语言数据的内容确定所述待处理平行句对中的目标语言数据来源于目标语言的第二概率；

根据所述第一概率和所述第二概率之间的偏差确定所述待处理平行句对的数据类型。

其中，所述根据所述第一概率和所述第二概率之间的偏差确定所述待处理平行句对的数据类型，具体包括：

根据所述第一概率和所述第二概率之间的偏差确定所述待处理平行句对的评分，所述评分用于确定所述待处理平行句对的数据类型；