[发明专利]一种面向神经机器翻译的数据选择及训练方法

说明书

本发明公开一种面向神经机器翻译的数据选择及训练方法，步骤为：构建单语语料库；对单语语料进行清洗过滤、分词、子词切分预处理，作为训练数据；使用训练数据通过语言模型微调预训练模型；将两种语言的单语数据输入编码，比较编码的两种单语的向量相似度，将相似度最高的两句并入伪双语数据中，构建伪平行语料；使用预训练模型的分词和子词切分方法处理伪平行语料，使用预训练模型初始化神经机器翻译框架的编码器参数；使用处理后的伪平行语料对神经机器翻译模型进行预训练；使用真正的双语数据微调神经机器翻译模型。本发明解决了低资源语言双语数据不足的问题，将预训练模型应用于神经机器翻译模型中，加快模型的收敛速度，提高模型的鲁棒性。

技术领域

本发明涉及一种机器翻译数据处理技术，具体为一种面向神经机器翻译的数据选择及训练方法。

背景技术

神经机器翻译是深度学习在自然语言处理方面的巨大成功。它的性能明显优于统计机器翻译，并且在几种语言对上的性能均达到了人类翻译水平。这样的突破很大程度上取决于大规模双语句子对的可用性。由于收集这样的双语句子对的成本很高，因此在绝大多数语言对上，尤其是对于资源匮乏的语言，神经机器翻译的成功尚未完全实现。通过仅使用单语种数据训练神经机器翻译模型可以解决这一问题。尽管通过人工翻译收集双语句子对的成本很高，但注意到Web上存在许多弱配对的双语文档。例如，同一主题的不同语言的文章，但是它们并不是逐句翻译的，因为它们可能是由不同的人独立创建的。通过探索从弱配对文档中学习神经机器翻译模型的方法可知，弱配对的文档比双语句子对更容易获得，这种弱配对的文档涵盖了多种不同的语言。

预训练方法是指通过海量的通用数据训练得到一个基础模型，这种通用且充分的数据能够鼓励模型在相同领域的下游任务上拥有很好的泛化能力。之后，针对下游任务，使用任务特定的数据对预训练好的模型进行微调，使模型更关注任务相关的特征，在该任务上具有更好的表现。在任务特定的数据量较小的情况下，预训练方法能够有效提升模型性能，而且由于预训练模型已经具备了通用的特征提取能力，微调模型能够达到更快的收敛速度和更强的鲁棒性。

在计算机视觉领域，预训练方法已经被广泛应用。然而在自然语言处理领域人们对于预训练方法的研究才刚刚开始。研究人员们提出了多种基于语言模型的预训练方法，比如ELMo、GPT和BERT等，这些预训练方法能够有效地应用于命名实体识别、问答、情感分析和语义角色标注等多个任务上，而且都达到了当前最好的性能。然而，神经机器翻译模型和现有的预训练模型的网络结构并不完全匹配，因此无法直接将预训练模型应用到神经机器翻译模型中。

发明内容

针对现有技术中低资源等双语数据获取困难影响神经机器翻译性能等不足，本发明要解决的技术问题是提供一种面向神经机器翻译的单语数据据选择及训练方法，利用预训练模型中存在丰富的语义信息，通过预训练模型对获得的弱匹配的可比较单语数据进行数据选择，获得伪双语数据，从而训练高质量的神经机器翻译模型。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种面向神经机器翻译的数据选择及训练方法，包括以下步骤：

1)构建单语语料库；

2)对单语语料进行清洗过滤、分词、子词切分预处理，作为训练数据；

3)使用训练数据通过语言模型微调预训练模型；

4)将两种语言的单语数据输入编码，比较编码的两种单语的向量相似度，将相似度最高的两句并入伪双语数据中，构建伪平行语料；

5)使用预训练模型的分词和子词切分方法处理伪平行语料，使用预训练模型初始化神经机器翻译框架的编码器参数；

6)使用处理后的伪平行语料对神经机器翻译模型进行预训练；

7)使用真正的双语数据微调神经机器翻译模型，完成训练过程。

步骤1)中，构建单语语料库，具体为：