[发明专利]一种用于构建神经机器翻译模型建模单元的输入编码方法

权利要求书

1.一种用于构建神经机器翻译模型建模单元的输入编码方法，基于编码器－解码器架构，其特征在于，所述编码器完全基于注意力机制，所述编码器由六层相同的模块叠加而成，每个模块包含一个多头的自注意力网络和一个位置敏感的前向神经网络；所述解码器同样是由六层相同的模块叠加而成。

2.根据权利要求1所述的一种用于构建神经机器翻译模型建模单元的输入编码方法，其特征在于，在编码器之前，对典型的带注意力机制的神经机器翻译模型以词语为基础的建模单元进行重建，建立基于字/词语混合序列的建模单元；通过常用词词典对输入的语料进行分类，分为：集内词和集外词两类。

3.根据权利要求2所述的一种用于构建神经机器翻译模型建模单元的输入编码方法，其特征在于，所述建模单元对输入的字/词语序列进行混合编码，生成的向量作为输入传给编码器。

4.根据权利要求2所述的一种用于构建神经机器翻译模型建模单元的输入编码方法，其特征在于，基于字/词语混合序列的建模单元，需要进行包括以下步骤：

步骤1：需要额外的分词工具对训练语料进行分词预处理，建立有限大小的源语言和目标语言词集合；

步骤2：对于集内词和集外词采用不同的编码方法；

步骤3：对于集内词，直接通过查询词语向量表得到词语编码，即词语向量表示，将词语编码输入给神经机器翻译模型的编码器；

步骤4：对于出现的集外词，将集外词所在句子全部拆分成相应的字符序列，通过双向行卷积模块从字符序列中自动合成词语信息，并将合成的词语信息作为神经翻译机器编码器的后续模块输入，所述合成的词语信息作为词语编码，输入给编码器。

5.根据权利要求4所述的一种用于构建神经机器翻译模型建模单元的输入编码方法，其特征在于，从字符序列自动合成词语信息，包括以下步骤：

S1：对于字符序列，采用双向行卷积网络构建局部上下文向量；首先通过查表的方法，将序列中的每个字符分别转换成一个大小为d维的字符向量x_i，类似于对集内词的处理，通过查表方法将词语直接转换成相应的词语向量；

S2：利用一个双向行卷积层为每个字符向量x_i计算出一个对应的上下文向量c_i；在给定时刻i的输入字符x_i，以及双向行卷积的窗口大小τ，通过拼接的方式得到一个大小为：d·(2τ+1)的上下文向量；模型维护一个相同大小的可学习卷积矩阵w；i时刻的激活输出可以计算为：c_i＝{v_i－τ；v_i－τ+1；...v_i+τ}；

S3：对于集外词的字符输入序列，设置语义合成层，对输入的字符序列和上下文向量进行合成，构建词语语义向量，作为合成的词语信息，输入给编码器；输入字符序列和上下文向量通过递归词语语义的方式进行合成，获得合成词语语义向量；计算公式：u_i＝M₁x_i+M₂c_i+M₃u_i－1+b。

6.根据权利要求5所述的一种用于构建神经机器翻译模型建模单元的输入编码方法，其特征在于，S2中，v_i－τ+t的计算公式为：v_i－τ+t＝w_t×x_i－τ+t(1≤t≤(2τ+1))。

7.根据权利要求6所述的一种用于构建神经机器翻译模型建模单元的输入编码方法，其特征在于，w_t是w中对应于x_i－τ+t的权重参数，c_i是通过将v^{i－τ；i+τ}进行拼接得到。

8.根据权利要求5所述的一种用于构建神经机器翻译模型建模单元的输入编码方法，其特征在于，S3中，权重矩阵M₃∈R^d×d反应了u_i－1对u_i的影响。

9.根据权利要求5所述的一种用于构建神经机器翻译模型建模单元的输入编码方法，其特征在于，合成词语向量化表示与传统的基于词语序列输入中通过查表得到的词语向量化表示相同，都作为编码器后续模块的输入参与模型计算。