[发明专利]利用外部信息的神经机器翻译方法

说明书

本公开涉及利用外部信息的神经机器翻译方法，包括：接收源端源语言的文字序列作为源端输入；接收目标语言的文字序列作为外部信息输入；根据源端输入和外部信息输入，生成源端源语言文字序列的译文作为目标端输出。本公开提供的神经机器翻译方法通过在翻译过程中输入外部信息，为翻译提供了参考，有效提高了神经机器翻译的翻译效率。

技术领域

本公开涉及自然语言处理的机器翻译技术领域，尤其涉及一种利用外部信息的神经机器翻译方法。

背景技术

近年来，随着计算机技术的迅猛发展，计算机硬件的算力不断提高，海量的数据得到广泛应用，机器学习方法特别是基于神经网络的深度学习方法取得了很大的发展和广泛的应用，这其中就包括基于神经网络的机器翻译方法，即神经机器翻译(NMT)。

在NMT领域中，比较典型的是基于带有注意力机制的编码器解码器架构(Attention-based Encoder-Decoder Architecture)的神经机器翻译模型。其工作过程如下：输入待翻译的源端句子的词向量序列x，即x＝{x₁,…,x_i,…,x_I}。随之使用一个基于神经网络的编码器将其编码为I个隐层表示h＝{h₁,…,h_i,…,h_I}，接着使用一个基于神经网络的解码器进行解码。在每个解码时刻t，解码器首先读取1到t-1时刻生成的历史信息，然后通过注意力机制从源端的编码器的隐层表示h中获得当前时刻对应的源端上下文信息，从而生成目标端的隐层表示s＝{s₁,…,s_t,…,s_T}。进而通过T个目标端的隐层表示生成目标语言句子y＝{y₁,…,y_t,…,y_T}。

现有技术对NMT的研究主要集中于通过设计更复杂的模型来增强翻译系统的性能，然而，随着NMT的发展，通过设计更好的模型，使之能更好地从给定的有限规模的训练样本中学习翻译能力已经逐渐达到了一个瓶颈，与此同时还伴随着模型复杂性的上升和模型规模的增大。

因此，如何在不过度增加模型复杂性的基础上提出一种提高翻译质量的方法，是本领域亟待解决的问题。

发明内容

有鉴于此，本公开提出了一种利用外部信息的机器翻译方法。

本公开提供了一种利用外部信息的神经机器翻译方法，所述方法包括：接收源端源语言的文字序列作为源端输入；接收目标语言的文字序列作为外部信息输入；根据所述源端输入和所述外部信息输入，生成源端源语言文字序列的译文作为目标端输出。

在一种可能的实现方式中，所述根据所述源端输入和所述外部信息输入，生成源端源语言文字序列的译文作为目标端输出，包括：对所述源端输入的所述源端源语言的文字序列编码，得到源端源语言的神经网络隐层表示；在翻译的当前时刻t，根据所述源端源语言的神经网络隐层表示，得到目标端的隐层表示；根据所述目标端的隐层表示，得到所述当前时刻t的翻译预测原概率分布；对所述外部信息输入的目标语言的文字序列编码，得到外部信息的隐层表示；根据所述外部信息的隐层表示，得到所述当前时刻t的外部信息翻译概率分布；根据所述翻译预测原概率分布和所述外部信息翻译概率分布，得到所述当前时刻t的结合外部信息的翻译预测概率分布；根据每一时刻的所述结合外部信息的翻译预测概率分布，生成源端源语言文字序列的译文作为目标端输出。

在一种可能的实现方式中，所述方法还包括：识别所述外部信息中的噪音，得到第一外部信息判别结果和/或第二外部信息判别结果；所述根据所述翻译预测原概率分布和所述外部信息翻译概率分布，得到所述当前时刻t的结合外部信息的翻译预测概率分布，包括：根据所述翻译预测原概率分布、所述外部信息翻译概率分布、所述第一外部信息判别结果和/或所述第二外部信息判别结果，得到所述当前时刻t的结合外部信息的翻译预测概率分布。