[发明专利]一种多语言神经机器翻译性能提升方法

权利要求书

1.一种多语言神经机器翻译性能提升方法，其特征在于包括以下步骤：

1)构建多语言平行语料库和基于注意力机制的多语言多层神经机器翻译模型，利用训练集合输入到模型进行训练直到在校验集合上收敛，同时按照一定训练的轮数存储下模型参数，得到训练过程中多语言多层神经机器翻译模型；

2)根据编辑距离从多语言平行语料库中筛选不同语言相似语义句子，输入到步骤1)中不同训练轮数存储的模型中，将多语言多层神经机器翻译每一层的输出保存；

3)根据步骤2)中不同语言相似语义句子在不同训练步数模型中每一层的输出，利用余弦相似度计算其两两之间相似度，将不同语言的句子之间的相似度进行平均作为不同语言模型不同层之间相似度；

4)根据步骤3)中得到的相似度，根据不同轮数观察去除最低层和最顶层之外的层在训练过程中相似度的变化，记录下所有这些层的相似度都达到峰值的轮数值；

5)从步骤3)中得到的相似度选出最后一轮不同层的数值，比较得出的相似度最低的一层；

6)根据步骤1)中的多语言平行语料库及多层多语言神经机器翻译模型，训练根据步骤4)得出的轮数后停止，选取根据步骤5)中得到层数，为每一种语言重复这一层参数，继续训练并且每个语种独享这一层参数，直到模型收敛停止。

2.按权利要求1所述的多语言神经机器翻译性能提升方法，其特征在于：步骤2)中根据编辑距离从多语言平行语料库中筛选不同语言，具体步骤为：

201)将双语平行数据按照不同语言分组，并从中提炼出相同语义的语言，选择各个双语数据中英语部分进行相似语义比较；

202)对不同语料库中的英语部分首先去除掉标点符号，然后利用基于词级别的编辑距离进行比较，基于词级别的编辑距离是指一个句子中的词语经过最少n次变换成另一个句子，而每一次变换从删除、加入、取代词语中选择一种操作，n也为两个句子基于词的编辑距离；两个句子之间编辑距离越近，句子的句意越相近；取出编辑距离小于2-5的英语句子，作为语义相近的句对，被选出的句对所含词数在5以上；

203)将步骤202)中的英语单语句对中各单句分别对应的双语语料库中的相同语义的另一端句子取出，这四个句子之间视为相近语义。

3.按权利要求1所述的多语言神经机器翻译性能提升方法，其特征在于：步骤2)中将不同语言相似语义句子输入到不同训练轮数存储的模型中，将多语言多层神经机器翻译每一层的输出保存，具体步骤为：

204)将步骤1)得到的按照每轮存储的模型取出，将步骤203)中两个相似平行语料分别输入到多语言多层模型中；

205)将多层模型平行语料的每一层隐层状态向量输出进行一一对应保存。

4.按权利要求1所述的多语言神经机器翻译性能提升方法，其特征在于：步骤3)中，将不同语言相似语义句子在不同训练步数模型中每一层的输出，利用余弦相似度计算其两两之间相似度，然后将不同语言的句子之间的相似度进行平均，具体步骤为：

301)将平行语料在模型中的隐藏状态作为模型对句子抽象化的隐变量，将两者隐变量进行余弦相似度计算，作为这两个向量在同一空间中的相似度，值域在[-1,1]，越靠近-1代表与不相似，靠近0代表不相关，靠近1代表很相近；

302)将所有句对计算出的相似度求得平均值作为最后这两种语言的相似度；

303)对不同的语种间存储的模型以及模型中的每一层都执行步骤301)～步骤302)，直到任意两两语言之间的相似度都计算完成。

5.按权利要求1所述的多语言神经机器翻译性能提升方法，其特征在于：步骤4)中，根据得到的相似度，在不同轮数观察去除最低层和最顶层之外的层在训练过程中相似度的变化，记录下所有这些层的相似度都达到峰值的轮数值，具体步骤为：

401)将不同语言之间在模型中不同层的相似度按照不同轮数的变化绘制成图表，重复这一步直到去除第一层和最后一层之外所有层都被绘制在图表中；

402)根据图表中不同的轮数相似度的变化，得出第i层相似度达到最大值的轮数epoch_i，最终从轮数集合{epoch_i}中选出最大值epoch_max。

6.按权利要求1所述的多语言神经机器翻译性能提升方法，其特征在于：步骤5)中，根据步骤3)得到的相似度选出最后一轮不同层的数值，比较得出的相似度最低的一层，具体为，利用训练收敛的模型计算出来的不同层之间的相似度layer_i，然后从不同层之间的相似度集合{layer_i}中选出最小相似度的层Min，作为抗干扰层。