[发明专利]基于指针生成网络实现占位符消歧的蒙汉机器翻译方法

权利要求书

1.一种基于指针生成网络实现占位符消歧的蒙汉机器翻译方法，基于编码器-解码器架构，其特征在于，还包括辅助网络和骨干网络，所述辅助网络为每个输入源词汇位置生成一个二进制门，动态地选择要关注的词汇，所述骨干网络为带有门控机制K的注意力的指针生成网络；编码阶段，经编码器的词嵌入层，将源文编码成一个隐藏层状态，再由所述门控机制K决定来自当前状态的信息是流入还是被占位符替换，其中K＝{k⁽¹⁾，k⁽²⁾，…，k⁽ⁱ⁾，…k^(T)}，T为二进制门的数量，k⁽ⁱ⁾表示第i个二进制门，k⁽ⁱ⁾取值为1或0，k⁽ⁱ⁾＝1时当前信息流入，k⁽ⁱ⁾＝0则被占位符替换；解码阶段，利用指针生成网络复制源文能力和生成新词汇能力，搭配占位符上下文语境进行消歧，给出符合上下文语义的精准词义；针对占位符，借助上下文语境和扩充的词汇表来生成词汇表中不存在的情感色彩的词，进行多义词的词义精确或新词替换；

其中，所述辅助网络的输入源词汇关注程度输出用概率p⁽ⁱ⁾决定：

p⁽ⁱ⁾＝sigmoid(Uh⁽ⁱ⁾)

h⁽ⁱ⁾＝LSTM(h^(i-1),x⁽ⁱ⁾)

其中，h⁽ⁱ⁾为编码器输入的第i个位置的隐藏状态，U为输入权重，h^(i-1)是前一位置的隐藏状态，x⁽ⁱ⁾是输入的第i个向量；

概率p⁽ⁱ⁾控制门开放概率，并用于参数化伯努利分布，二进制门k⁽ⁱ⁾服从于伯努利分布生成样本：

k⁽ⁱ⁾～Bernoulli(p⁽ⁱ⁾)；

所述编码器和解码器均采用循环神经网络，编码器首先对输入源词汇做词向量嵌入，将词汇转换成向量形式，随后经过隐藏层将输入数据特征抽象成更高的特征层次；隐藏层将输入的源语言序列x＝{x⁽¹⁾,x⁽²⁾,...,x^(T)}编码为隐藏状态，在时间步t，隐藏状态h_t与上一时刻的隐藏状态h_t-1和当前输入向量x_t有关，用函数g表达RNN隐藏层的变换：h_t＝g(x_t,h_t-1)；

在各个隐藏层输出后，利用门控机制K取值为1或0决定来自当前状态的信息是否应流入，不能输入的用占位符进行替换，其余进行输入，进行注意力分布的计算；

编码器中出现的隐藏状态h_t，解码器的t时刻隐藏状态s_t会参与注意力系数的计算，解码器隐藏状态s_t与编码器隐藏状态h_t经过变换计算得出源文第i个词的注意力权重：

注意力分布：α_t＝softmax(x_t)

其中，是t时刻第i个词的注意力权重，h_t是t时刻编码器隐藏状态，s_t是t时刻解码器隐藏状态，w^(a)是循环权重，v是权重矩阵，b_attn是偏置，注意力分布是输入源词汇的概率分布；

接着，利用注意力分布来进行编码器里隐藏层的加权求和构建上下文向量由此来计算在解码器的每个位置j的上下文向量：

其中，注意力权重值α^(ij)是计算编码器隐藏状态和解码器隐藏状态的函数；

上下文向量被认为是当前步骤从源语言读取固定大小内容的表示，并且与解码器隐藏状态s_t连接，通过两个线性层进行馈送，生成词汇分布p_voc：

p_voc＝soft max(V′(V[s_t,c]+b)+b′)

其中，c是上下文向量，s_t解码器隐藏状态，[s_t,c]表示拼接，V,V′和b，b′均为可学习参数，p_voc是词汇表中源语言单词的概率表示，即经过softmax多分类对相应单词产生的概率分布；

解码器t时刻的权重p_gen计算公式如下：

其中，b_ptr是标量，s_t是解码器t时刻隐藏状态，y_t-1是解码器在t-1时刻的输出，c是上下文向量，都是权重矩阵，σ是sigmoid函数；

利用p_gen对词汇分布和注意力分布进行加权平均，得到扩展后词汇表里词汇的各概率的分布：

其中，p_gen决定从词汇表中生成的单词概率，1-p_gen决定从源文中生成单词的概率，是第i个位置的注意力分布值，z⁽ⁱ⁾是词汇表中的词汇，z是占位符处的单词，p_voc(z)是词汇表，如果z是词汇表外词汇，则p_voc(z)为零；

将解码器先前时间步的注意力权重相加到一起得到覆盖向量L_t，用先前时间步的注意力权重决策来影响当前注意力权重决策，最终利用覆盖向量L_t来避免生成重复文本的问题，其中，α_t为源语言词汇的注意力分布；

在最后阶段，注意力向量输入到softmax层，输出预测分布：

y_t＝softmax(w^(s)h_t)；

其中y^(t)是目标语言单词，w^(s)是权重。