[发明专利]一种翻译模型训练方法及装置

权利要求书

1.一种翻译模型训练方法，其特征在于，包括：

获取大规模的源语言端单语语料和目标语言端单语语料；

训练所述源语言端单语语料和目标语言端单语语料，得到源语言端词向量和目标语言端词向量；

将所述源语言端词向量和目标语言端词向量映射到同一个向量空间，得到对齐的源语言端词向量和目标语言端词向量；

利用对齐的源语言端词向量和目标语言端词向量初始化预先构建的翻译模型；

在所述源语言端单语语料和目标语言端单语语料中加入可控的随机噪声；

利用带噪声的所述源语言端单语语料和目标语言端单语语料，对初始化后的翻译模型进行迭代训练。

2.根据权利要求1所述的方法，其特征在于，训练所述源语言端单语语料和目标语言端单语语料，得到源语言端词向量和目标语言端词向量，包括：

分别对所述源语言端单语语料和目标语言端单语语料进行分词处理，得到分词后的词语；

对所述分词后的词语进行分割，得到粒度更小的子词；

对所述子词进行向量化处理，得到源语言端词向量和目标语言端词向量。

3.根据权利要求1所述的方法，其特征在于，将所述源语言端词向量和目标语言端词向量映射到同一个向量空间，得到对齐的源语言端词向量和目标语言端词向量，包括：

在源语言端单语语料和目标语言端单语语料中找出共有的词语；

根据所述共有的词语构建源语言端词向量和目标语言端词向量的映射关系；

根据所述映射关系将源语言端词向量和目标语言端词向量映射到同一个向量空间，得到对齐的源语言端词向量和目标语言端词向量。

4.根据权利要求1所述的方法，其特征在于，利用对齐的源语言端词向量和目标语言端词向量初始化预先构建的翻译模型，包括：

利用所述对齐的源语言端词向量和目标语言端词向量初始化所述翻译模型的网络结构中预先定义好的词向量表。

5.根据权利要求1所述的方法，其特征在于，在所述源语言端单语语料和目标语言端单语语料中加入可控的随机噪声，包括：

随机打乱所述源语言端单语语料和目标语言端单语语料中连续出现的多个词语的顺序，在所述源语言端单语语料和目标语言端单语语料中加入乱序噪声。

6.根据权利要求1所述的方法，其特征在于，所述翻译模型的网络结构包括源语言编码器、目标语言编码器、源语言解码器和目标语言解码器，利用带噪声的所述源语言端单语语料和目标语言端单语语料，对初始化后的翻译模型进行训练，包括：单语言自编码训练；

所述单语言自编码训练包括：

源语言编码器和源语言解码器作为一个源语言自编码器；

将所述带噪声的源语言端单语语料输入所述源语言自编码器，对所述源语言自编码器中的源语言编码器和源语言解码器进行训练；和/或

目标语言编码器和目标语言解码器作为一个目标语言自编码器；

将所述带噪声的目标语言端单语语料输入所述目标语言自编码器，对所述目标语言自编码器中的目标语言编码器和目标语言解码器进行训练。

7.根据权利要求1所述的方法，其特征在于，所述翻译模型的网络结构包括源语言编码器、目标语言编码器、源语言解码器和目标语言解码器，利用带噪声的所述源语言端单语语料和目标语言端单语语料，对初始化后的翻译模型进行训练，包括：跨语言机器翻译训练；

所述跨语言机器翻译训练包括：

源语言编码器和目标语言解码器作为源语言到目标语言翻译器；

目标语言编码器和源语言解码器作为目标语言到源语言翻译器；

将所述源语言端单语语料输入所述源语言到目标语言翻译器得到第一伪双语语料；

将所述目标语言端单语语料输入所述目标语言到源语言翻译器得到第二伪双语语料；

将所述第一伪双语语料输入所述目标语言到源语言翻译器对所述目标语言到源语言翻译器中的目标语言编码器和源语言解码器进行训练；

将所述第二伪双语语料输入所述源语言到目标语言翻译器对所述源语言到目标语言翻译器中的源语言编码器和目标语言解码器进行训练。