[发明专利]一种博弈型蒙古文神经机器翻译方法

说明书

一种博弈型蒙古文神经机器翻译方法，将蒙古文神经机器翻译中影响译文解码的问题因素通过伪数据形式转化为干扰噪声；根据噪声干扰策略构建基于生成对抗网络的博弈模型，由生成器G、抗干扰器AJ和鉴别器D组成，在三个模块的博弈中完成对干扰噪声的泛化，提升博弈模型对这些噪声的翻译性能；在博弈训练中，利用REINFORCE策略对G进行参数优化，得到原始数据和噪声数据的训练奖励，借助对抗训练机制对原始语料和含干扰噪声的伪语料训练，利用AJ对训练数据的判断决策噪声数据的训练优先级，使G和D对添加的干扰噪声产生足够的解码能力，最终以训练得到的G为翻译模型，进行蒙古文翻译。本发明可提高蒙古文翻译的准确率和效率。

技术领域

本发明属于机器翻译技术领域，特别涉及一种博弈型蒙古文神经机器翻译方法。

背景技术

蒙古文神经机器翻译是一种通过深度学习的方法将蒙古文或西里尔蒙古文通过迭代学习映射为其它语言的计算训练过程，其原理是将蒙古文文本数据经过去噪和切分等预处理操作在翻译模型中更好地被表征和特征提取。翻译模型在选定的机器学习算法指导下建立基于双语之间的数据映射关系(模型参数)，然后通过多次迭代训练使这种映射关系逐步准确，最终对未知测试数据产生良好的泛化能力。

对抗训练是生成对抗网络通过一个生成器和一个鉴别器在生成样本和标准样本的博弈训练中找到博弈模型的最优参数状态，生成器G用于产生能够迷惑鉴别器的预测样本，而鉴别器D旨在尽可能的在预测样本和真实样本之间找到不同之处，当训练过程达到一个纳什平衡时，博弈模型即收敛到一个最优状态。在此状态下，D很难鉴别出来自G产生的预测样本和真实样本。所述纳什均衡状态是指两个实体或变化量在博弈训练过程中，任意角色的训练策略选择或更新都不影响角色对整体训练的影响。在这个博弈训练中，各个角色都致力于使自身的期望收益达到最大。在机器翻译应用中该平衡是指G和D之间的奖励最大，损失最小，当各自满足这种训练平衡时，翻译模型满足纳什均衡状态，博弈模型趋于最优。

蒙古文机器翻译长期受限于平行语料匮乏和资源稀缺，导致参与翻译模型训练的数据存在较为严重的数据稀疏问题，而一般的深度神经网络无法解决稀疏存储中解码准确率和效率问题。在具体的蒙古文翻译中，上述问题主要体现在翻译模型不能在有限的迭代周期内准确解码，对一些典型的问题没有足够的泛化能力。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种博弈型蒙古文神经机器翻译方法，以解决蒙古文翻译任务中长期存在的数据稀疏导致的翻译模型训练不充分和泛化能力不足以及对序列结构分析能力差等问题，通过噪声干扰策略并构建生成对抗网络提升翻译模型整体的解码能力，借助博弈训练使翻译模型提升对蒙古文中一些黏着成分以及如格和特殊字符等附加成分的解码能力，提高蒙古文翻译的准确率和效率。

为了实现上述目的，本发明采用的技术方案是：

一种博弈型蒙古文神经机器翻译方法，包括如下步骤：

步骤1，将蒙古文神经机器翻译中影响译文解码的问题因素通过伪数据的形式转化为干扰噪声；

步骤2，在机器翻译任务上，根据噪声干扰策略构建基于生成对抗网络的博弈模型，所述博弈模型由三部分组成：生成器G、抗干扰器AJ和鉴别器D，其中抗干扰器AJ置于生成器G和鉴别器D之间，生成器G旨在欺骗鉴别器D使其认为输出是标准译文，鉴别器D旨在提高其鉴别能力以区分生成器G的输出和标准译文，抗干扰器AJ旨在使干扰噪声序列能够在训练中被鉴别器D鉴别；

步骤3，在博弈训练(即博弈模型的训练)中，利用REINFORCE策略对生成器G进行参数优化，得到原始数据和噪声数据的训练价值，然后借助对抗训练机制对原始语料和含干扰噪声的伪语料训练，利用得到的训练价值进一步根据AJ决策噪声数据的训练优先级，以使生成器G和D对添加的干扰噪声产生足够的解码能力，最终以训练得到的生成器G为翻译模型，进行蒙古文翻译。