[发明专利]机器翻译设备和方法

说明书

公开了机器翻译设备和方法。所述机器翻译设备，包括：预处理单元，用于对源语言输入文本执行处理，以产生与所述源语言输入文本中的各源语言单词对应的多个向量；编码单元，用于对所述多个向量进行编码以产生多个编码向量；以及解码单元，用于将所述多个编码向量以及指示翻译方向的信息输入至单个解码网络，并且从所述单个解码网络输出与源语言输入文本对应的目标语言输出文本，其中，所述输出文本中包括的目标语言单词的输出顺序与所述翻译方向一致，其中当向所述单个解码网络输入的信息所指示的翻译方向改变时，所述单个解码网络中各节点的参数不变。

技术领域

本发明涉及自然语言处理的领域，更具体地说，涉及机器翻译设备和方法。

背景技术

机器翻译是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支，是人工智能的终极目标之一，具有重要的科学研究价值。同时，机器翻译又具有重要的实用价值。随着经济全球化及互联网的飞速发展，机器翻译技术在促进政治、经济、文化交流等方面起到越来越重要的作用。

随着深度学习的研究取得较大进展，基于人工神经网络的机器翻译(NeuralMachine Translation，NMT)逐渐兴起。其技术核心是一个拥有海量结点(神经元)的深度神经网络，可以自动地从语料库中学习翻译知识。一种语言的句子被向量化之后，在网络中层层传递，转化为计算机可以“理解”的表示形式，再经过多层复杂的传导运算，生成另一种语言的译文。实现了“理解语言，生成译文”的翻译方式。这种翻译方法最大的优势在于译文流畅，更加符合语法规范，容易理解。相比之前的翻译技术，质量有“跃进式”的提升。

谷歌提出了一种新的架构(Transformer)，用来实现NMT。Transformer架构包括编码器(Encoder)和解码器(Decoder)两部分。编码器对输入文本进行深层语义表示，解码器依据输入文本的语义表示产生输出文本。编码器和解码器都是由多层网络堆积而成。

现有的解码网络仅能够按照设置好的翻译方向(如，自左往右或自右向左)逐词地产生译文输出。也就是说，一个解码网络只能够按照一种固定的翻译方向来构造并训练。如果用户希望改变翻译方向，则只能重新构造并训练与该翻译方向对应的另一个解码网络。然而，这显然不利于节约时间成本和软硬件成本。

发明内容

鉴于以上情形，期望提供新的机器翻译方法和设备，其能够针对不同的翻译方向，共享相同的解码网络。

根据本公开的一个方面，提供了一种机器翻译方法，包括：对源语言输入文本执行处理，以产生与所述源语言输入文本中的各源语言单词对应的多个向量；对所述多个向量进行编码以产生多个编码向量；将所述多个编码向量以及指示翻译方向的信息输入至单个解码网络；以及从所述单个解码网络输出与源语言输入文本对应的目标语言输出文本，其中，所述输出文本中包括的目标语言单词的输出顺序与所述翻译方向一致，其中当向所述单个解码网络输入的信息所指示的翻译方向改变时，所述单个解码网络中各节点的参数不变。

另外，在根据本公开实施例的方法中，通过以下处理来训练所述解码网络：对源语言训练输入文本执行处理，以产生与所述源语言训练输入文本中的各源语言单词对应的多个训练向量；对所述多个训练向量进行编码以产生多个编码训练向量；将所述多个编码训练向量以及指示翻译方向的信息输入至单个解码网络；分别在多个时间步从所述单个解码网络输出多个训练预测向量，其中每一个训练预测向量包括目标语言词库中的各单词在一个时间步作为目标语言输出文本中的单词的概率，且各时间步分别与目标语言输出文本中的各单词对应；基于与所述翻译方向对应的、目标语言正解文本在多个时间步应该输出的单词，确定多个正解向量，其中每一个正解向量包括目标语言词库中的各单词在一个时间步作为目标语言输出文本中的单词的概率，并且与该时间步应该输出的单词对应的概率最大；以及至少基于表示训练预测向量与相应的正解向量之间的差异的第一损失函数，调整所述解码网络中各节点的参数。