[发明专利]一种知识增强的非自回归神经机器翻译方法及装置

说明书

一种知识增强的非自回归神经机器翻译方法及装置，该方法将双语平行语言对进行数据预处理和词向量编码；将源语言的词向量表示输入到编码器网络中，所述编码器网络将源语言文档信息进行编码，得到输入词序列信息的编码表示；使用词对齐模型构建源语言和目标语言的对应关系，构建繁衍率模型；构建解码器模型的输入和输出编码表示；通过条件随机场模型建立目标语言词汇之间的依赖，依次解码生成最终的翻译结果。本发明在解码端使用条件随机场进行解码；预训练语言模型本身带有较强的上下文信息，条件随机场构建了上下文依赖关系，缓解了非自回归翻译中较为容易出现的大量重翻、漏翻和前后不一致的现象，有利于得到更高质量的翻译结果。

技术领域

本发明属于机器翻译技术领域，具体涉及一种知识增强的非自回归神经机器翻译方法及装置。

背景技术

神经机器翻译是使用一种自回归的解码方式，从左到右依次解码生成目标语言，这种特性导致解码过程中，不同位置的单词无法并行生成。而非自回归翻译摒弃了目标端语言生成过程的时序性，由于其解码过程不依赖于之前翻译结果，从而获得很高的推理速度，在解码过程中能够同时生成所有目标语言词汇，大大加快了模型的解码速度。

当前的非自回归翻译方法同时生成所有时刻的目标语言词汇，虽然极大地提升了解码速度，但是摒弃了词汇之间的依赖性，容易造成翻译内容前后不一致、遗漏翻译内容或同样内容重复多次的翻译结果，翻译质量较差，无法满足正常的高质量翻译需求。

发明内容

为此，本发明提供一种知识增强的非自回归神经机器翻译方法及装置，解决在非自回归神经机器翻译中，目标语言文本生成无法依赖上下文信息，容易出现重翻、漏翻和翻译前后不一致的问题。

为了实现上述目的，本发明提供如下技术方案：一种知识增强的非自回归神经机器翻译方法，包括以下步骤：

(1)将双语平行语言对进行数据预处理和词向量编码；

(2)将源语言的词向量表示输入到编码器网络中，所述编码器网络将源语言文档信息进行编码，得到输入词序列信息的编码表示；

(3)使用词对齐模型构建源语言和目标语言的对应关系，构建繁衍率模型；

(4)构建解码器模型的输入和输出编码表示；

(5)通过条件随机场模型建立目标语言词汇之间的依赖，依次解码生成最终的翻译结果。

作为知识增强的非自回归神经机器翻译方法的优选方案，步骤(1)包括：

(11)使用BPE算法将所有训练语料中句子进行亚词切分；

(12)预定义表示源语言的亚词序列，使用预训练模型得到源语言的词向量编码表示；

(13)获取源语言输入序列的位置向量编码；

(14)将所述词向量编码与所述位置向量编码相加，得到源语言的输入编码表示。

作为知识增强的非自回归神经机器翻译方法的优选方案，步骤(2)包括：

(21)获取源语言经过词向量预处理的词序列矩阵；

(22)使用基于自注意力机制的Transformer层，获得每个词经过编码器网络的最顶层编码表示。

作为知识增强的非自回归神经机器翻译方法的优选方案，步骤(3)包括：

(31)预定义表示不同目标语言的词序列，使用词对齐模型构建源语言词序列和目标语言之间的对应关系；

(32)根据源语言词序列和目标语言之间的对应关系，将源语言对应目标语言的token数目作为繁衍率序列；