[发明专利]一种基于词预测的神经机器翻译方法

权利要求书

1.一种基于词预测的神经机器翻译方法，其特征在于，包括如下步骤：

步骤1，构建基于注意力机制的端到端神经机器翻译系统模型框架，并在编码端与解码端分别加入词预测的模块，使用平行语料进行训练；

步骤2，在翻译过程中，对于待翻译的句子，通过编码端词预测机制获取相应缩小的词表，然后进行翻译。

2.根据权利要求1所述的方法，其特征在于，步骤1包括如下步骤：

步骤1-1，使用两个循环神经网络分别作为编码端和解码端，同时使用注意力机制搭建端到端神经机器翻译系统；

步骤1-2，在翻译系统中，分别在编码端和目标端加入预测机制；

步骤1-3，使用预处理完的大规模平行语料对模型进行训练。

3.根据权利要求2所述的一种计算机中基于词预测的神经机器翻译训练方法，其特征在于，步骤1-1包括：

步骤1-1-1，使用一个双向循环神经网络作为翻译系统的编码端，对于源端的句子x＝(x₁,x₂,…,x_n)，进行编码，其中x表示源端的一句句子，x_n为句子x中的第n个词，句子的长度为n，从左到右的循环神经网络计算方法为：

z→i=σ(W→z[xi;h→i-1]),]]>

r→i=σ(W→r[xi;h→i-1]),]]>

其中为门控循环单元GRU函数，σ(·)为非线性变换，⊙为矩阵元素的乘积，tanh(·)为双曲正切函数，为从左到右的神经网络模型的参数，x_i为句子中第i个词，为从左到右的神经网络的第i个隐层状态；为模型计算过程中的中间变量，公式中右箭头表示为从左到右神经网络的参数以及变量，

从右到左的循环神经网络编码器计算方法如下：

z←i=σ(W←z[xi;h←i-1]),]]>

z←i=σ(W←r[xi;h←i-1]),]]>

其中，为从右到左的神经网络模型的参数，x_i为句子x中第第i个词，为从右到左的神经网络的第i个隐层状态；为模型计算过程中的中间变量，公式中左箭头表示为从右到左神经网络的参数以及变量；

最后将双向循环神经网络的对应输出进行拼接：

hi=[h→i;h←i]]]>

h_i为将第i个词编码成的从左到右的隐层状态和从右到左的隐层状态拼接而成的表示，最后得到一组编码表示：(h₁,h₂,…,h_n)，h_n即第n个编码表示，[；]表示向量的拼接；

步骤1-1-2，使用一个循环神经网络作为翻译系统的解码端，对于目标端的句子，使用解码器进行解码：

s_j＝g_d(s_j-1,[y_j-1；c_j])，

g_d(·)为GRU函数，y_j-1为第j-1个输出的词，s_j-1为第j-1个词对应的解码端隐层状态，通过计算，得到当前要输出词即第j个的隐层状态，其中c_j为当前将输出词对于源端每个词对应关系的表示，通过注意力机制计算而得：

cj=Σi=1|x|ajihi,]]>

aji=exp(eji)Σk=1|x|exp,]]>

eji=tanh(Wattd[sj-1;hi]),]]>

其中，a_ji为每个源端隐层状态对应的权重，exp(·)为指数函数，为模型参数，e_ji为通过模型参数计算而得到中间变量，k为临时变量，对于解码器的初始输入Initial State记为s₀：

s0=σ(Ws1|x|Σi=1|x|hi);]]>

W_s为模型的参数；

步骤1-1-3，使用s_j生成相应的目标端的词：

P(y_j|y_＜j,x)＝f_d(t_d([y_j-1；s_j；c_j]))，

f_d(u)＝softmax(W_fu)，

t_d(v)＝tanh(W_tv)；

其中，P(y_j|y_＜j,x)表示已知(y₁,y₂,…,y_j-1)和x的情况下，选取概率最大的y_j，其中f_d(·)和t_d(·)是非线性变换函数，softmax(·)为归一化函数，W_f，W_t为模型参数，u,v为临时变量；

步骤1-1-4，生成目标端的句子：y＝(y₁,y₂,…,y_m)，y表示生成的目标端句子，y_m表示目标端句子中第m个词，其中m为生成句子的长度。