[发明专利]一种多语言神经机器翻译性能提升方法

说明书

本发明公开一种多语言神经机器翻译性能提升方法，构建多语言平行语料库和基于注意力机制的多语言多层神经机器翻译模型进行训练，得到训多语言多层神经机器翻译模型；将不同语言相似语义句子输入到中不同训练轮数存储的模型中；利用余弦相似度计算其两两之间相似度；去除最低层和最顶层之外的层在训练过程中相似度的变化；根据相似度选择得出的相似度最低的一层；根据多语言平行语料库及多层多语言神经机器翻译模型，训练到轮数后停止，选取根据步骤5)中得到层数，为每一种语言重复这一层参数，继续训练并且每个语种独享这一层参数，直到模型收敛停止。本发明减少训练过程中语言间的干扰，最终达到提升多语言神经机器翻译模型的翻译性能的目的。

技术领域

本发明涉及一种多语言神经机器翻译性能提升技术，具体为一种多语言神经机器翻译性能提升方法。

背景技术

机器翻译(Machine Translation或MT)是利用电子计算机在各种自然语言之间进行自动翻译的实验科学。具体地说，是利用计算机将一门自然语言(源语言)转换为另一种自然语言(目标语言)的过程。长期以来，机器翻译技术被认为是解决各个语言间翻译问题的终极手段之一，在世界全球化的今天，机器翻译技术的实际应用需求非常强烈，这些都反映了机器翻译的巨大价值和技术应用前景。

机器翻译的方法分为两种，一种是基于规则的机器翻译，另一种是基于语料库的机器翻译。具体来说，基于语料库的机器翻译可分为基于实例的机器翻译，统计机器翻译和神经机器翻译。早期人们主要使用规则进行机器翻译。然而，随着研究的深入，基于规则的方法逐渐暴露出手工书写规则覆盖范围有限，规则数量增加引起冲突，语言扩展困难等问题。虽然随后的基于案例的方法可以在一定程度上缓解上述问题，但问题还没有从根本上得到解决。

早期的机器翻译主要依靠人工来定义规则，但是之后人们发现这种人工定义的规则对于语料库覆盖度有限，而且大量的规则很难维护，之后机器翻译研究有了突破性进展，是由于统计机器翻译思想的诞生，由IBM和ATT等机构于上世纪九十年代初提出，而统计机器翻译还是需要人工的去定义一些规则。近年来，随着深度学习的兴起，基于深度学习的神经机器翻译方法被提出，简称神经机器翻译。该方法直接用神经网络对机器翻译问题进行建模，并以端到端的方式完成模型学习，整个过程不需要人工特征的设计。

以自注意(Self-attention)机制为基础的神经机器翻译系统，是使不同位置词汇间的信息直接传达的方法，在更远的信息传达距离情况下更具有优势，因而在很多同种系统中受到关注。这种神经机器翻译模型能够更充分地表示序列中不同位置的词汇之间的复杂关系。其中心思想是，通过考虑来源或目标语句任意位置的词汇间的关联度，获得词汇间的关联性，并将其作为不同词汇或片断信息统合过程中的重要度。最终，可以得到源语中的语义信息表现。

这种基于注意力机制的神经机器翻译模型虽然在性能上相较于之前的模型有了不错的提升，但是随着神经机器翻译在工业届的应用，如果需要大规模不同语言之间的互译，按照传统的方法建立机器翻译模型，那么将会需要大量的模型存储空间，如果100种语言两两互译则需要100*99＝9900个翻译系统，如果每个模型需要2G的存储空间的话那么模型存储就需要19.8T，并且这里还没有计算运行内存。同时，如果某些小语种并没有大量的用户，而当他们一旦有翻译需求，这时翻译系统如果提升翻译的实时性，要么只有降低整体翻译速度的吞吐量，要么增加额外的设备数量，而如果不要求实时性，那么用户体验将变得很差，不利于机器翻译的推广。因此这里需要使用多语言神经机器翻译技术。

多语言神经机器翻译模型是在传统的神经机器翻译模型的基础上，利用多个语言构建的平行语料库，构建多语言的词典进而实现一个模型实现多种语言的翻译。为了进一步提升性能，通常会使用多层机器翻译，整个模型为基于注意力的多语言多层神经机器翻译模型。在使用了多语言翻译模型之后，可以大大减少多个语言相互翻译需要的存储空间，同时还能增加服务器整体的吞吐量，减少运行内存，极大地节省了运维成本。