[发明专利]将双语预定义翻译对融入神经机器翻译模型的方法

说明书

本发明公开了一种将双语预定义翻译对融入神经机器翻译模型的方法。本发明一种将双语预定义翻译对融入神经机器翻译模型的方法，应用在基于注意力机制且采用encoder‑decoder框架的NMT模型，包括：目标是为了将双语预定义的翻译对(p,q)融入神经机器翻译模型，其中p出现在源端的句子中，且p需要被正确翻译为q，出现在在目标端的句子中，同时源端中的其它的词被正确翻译。本发明的有益效果：我们提出将样例引入神经机器翻译模型，以此来指导其翻译的方法，具有以下优势，1.通过使用tagging方法，使模型学习到这种模式，建立源端和目标端预定义短语对地联系，提高它们被成功翻译的可能。

技术领域

本发明涉及神经机器翻译领域，具体涉及一种将双语预定义翻译对融入神经机器翻译模型的方法。

背景技术

机器翻译(Machine Translation,MT)是自然语言处理(NLP)领域中的一个重要领域，旨在使用机器将一种语言翻译为另一种语言。MT经过多年的发展，从基于规则的方法到基于统计的方法，再到如今的基于神经网络的神经机器翻译(Neural MachineTranslation,NMT)。一般来说，和许多其他主流的NLP 任务一样，NMT也采用一个序列到序列的结构(Sequence to sequence, seq2seq)，由编码器和解码器组成。编码器(encoder)将源端的句子编码为向量表示，然后解码器(decoder)根据向量表示逐词生成对应的翻译。

在许多场景下，NMT系统需要采用预定义的翻译数据库中的翻译。比如说在电商领域，许多商品的品牌名都是有固定的翻译的，错误的翻译可能会引起商业纠纷。在新闻领域也是，国家名人名都需要根据预定义的翻译直接翻译过去。我们将这些有着约定俗称翻译的短语对称之为双语预定义的翻译对。由于 NMT模型是一个端到端的模型，翻译过程可以看作是一个黑盒，所以我们很难直接去干预输出的结果，所以将预定义的翻译融入NMT中并不是容易的事情。

(1)Addressing the rare word problem in neural machine translation。文章引入了对齐技术，使得NMT模型知道目标端的不在词表中的词所对应的源端的词是什么，并且在后续处理的过程中使用一个预定义的对齐字典，将那些不在词表中的词替换为预定义词典中的词。

(2)Neural machine translation with external phrase memory。文章提出了名为短语网络(PhraseNet)的架构，修改了整个架构，使得模型可以决定当前时间步是正常输出一个词还是根据双语预定义翻译对生成短语。

(3)Lexically constrained decoding for sequence generation using gridbeam search。文章通过提出了一种名为网格束搜索(Grid Beam Search) 的技术，可以让指定的片段出现在模型的输出中，指定的片段既可以是单个词也可以是多个词。

传统技术存在以下技术问题：

引入对齐技术，并在后续处理中替换翻译的方法主要用于处理稀有词的问题，仅仅可以处理单个词的情况，而双语预定义的翻译对中可能包含多个词短语的情况。修改模型架构解决了短语的问题，但是它并不能够保证预定义的短语一定出现在目标端，而且修改较为复杂，比较难复现。使用修改束搜索(Beam Search)的方法虽然不需要修改网络的架构，但是在生成每一个单词的时候，都需要根据当前翻译决定是否要使用双语预定义翻译对中的信息，大大降低了翻译的速度。

发明内容

本发明要解决的技术问题是提供一种将双语预定义翻译对融入神经机器翻译模型的方法，它通过对数据的预处理以及对模型的轻微修改，可以成功地将源端中包含在双语预定义翻译对中的短语成功翻译(成功率高于99％)，而且不会降低解码速度。