[发明专利]一种神经网络蒙汉机器翻译方法

权利要求书

1.一种神经网络蒙汉机器翻译方法，首先对大规模蒙汉双语语料做规范化处理，在此基础上构建出双语字典；然后进行建模，最终基于所搭建模型，实现机器翻译；所述建模包括编码器建模、解码器建模以及蒙汉双语词对齐所需的注意力层的建模，从而针对蒙古语特定词性的词语进行相应处理，以达到最好的翻译效果和最小的语义困惑度，其特征在于，所述基于所搭建模型，实现机器翻译的步骤包括编码环节和解码环节，所述编码环节，将蒙古语进行向量化处理并确定维度；所述解码环节分为注意力层部分和解码部分，其中注意力层部分为对齐概率计算模型和对齐位置预测模型；通过对齐概率计算模型计算出蒙汉双语在句子对齐的基础上，词语之间对齐的概率，而对齐位置预测模型能够将每个词出现的位置信息进行相应的预测；所述解码部分又分为遍历隐藏层节点和输出两部分，通过遍历隐藏层节点来对当前时刻的向量信息进行检索，判定是否符合语义要求，若符合语义要求则将符合要求的向量信息传送给输出函数，通过归一化操作将输出向量解码为译文进行输出，且输出函数符合最优值。

2.根据权利要求1所述神经网络蒙汉机器翻译方法，其特征在于，所述编码器共有三种，分别为单词编码器、字素编码器和短语编码器；

单词编码器用于源端语言的向量化，将每个单词表示成向量形式，最终构建以单词向量为基础的句向量，其模型公式为：

h_t＝φ(h_t-1,Cw_t)

其中，h_t为t时刻编码器神经网络隐藏层状态，h_t-1为t-1时刻编码器神经网络隐藏层状态，φ为神经网络激活函数，C为映射矩阵，w_t为蒙古语词的向量，通过编码终止符EOS来确定编码的完成，当t为0时刻，h₀就是一个全零的向量，当编码结束时，神经网络中即包含所有蒙古语语言信息；

字素编码器用于缓解源语料和带翻译语料中出现的错误词语，以构词字素为基本单元来遍历检索和编码源语言句子，当出现错误单词时将单词中错误的字素替换为正确字素从而达到改错目的，其模型公式为：

h_tc＝ψ(h_(t-1)c,C_cw_tc)

其中，h_tc为t时刻字素编码器的网络隐藏层状态，h_(t-1)c为t-1时刻字素编码器的网络隐藏层状态，ψ为激活函数，C_c为字素的映射矩阵，w_tc为蒙古语构词字素的向量表示；

短语编码器用于将源语言句子中成组出现的短语作为编码器的基本单元进行编码，通过对源语言句子的短语划分来构建基于字典的短语库，进而构建短语编码器，其模型公式为：

h_tp＝γ(h_(t-1)p,C_pw_tp)

其中，h_tp为t时刻短语编码器的网络隐藏层状态，h_(t-1)p为t-1时刻短语编码器的网络隐藏层状态，γ为神经网络隐藏层节点激活函数，C_p为短语映射矩阵，w_tp为蒙古语句子包含短语的向量表示；

通过一个融合函数将三种编码器中编码信息进行融合，融合函数中的融合因子为三种编码器在编码条件下对应的激活函数，通过加权得到，如下式所示：

Γ(h_t,h_tc,h_tp)＝α₁h_t+α₂h_tc+α₃h_tp

混合编码器的模型公式为：

h_h＝Γ(h_t,h_tc,h_tp)

其中，Γ为融合函数，包含三种激活函数集合，α₁,α₂,α₃表示三种编码器通过随机初始化的对应权重，通过加入三种编码状态整合成为包含字素、单词、短语三类向量信息的编码器。