[发明专利]零平行语料多模态神经机器翻译方法

说明书

本发明公开了一种零平行语料多模态神经机器翻译方法，包括：利用带有相应图片信息的源语言和目标语言单语语料，对预先构建的神经机器翻译模型进行预训练；使用预训练的神经机器翻译模型将源语言中的句子翻译为目标语言的句子，根据翻译得到的句子与对应图片之间的内在联系计算句子级别的奖励值，并以最大化期望的总的奖励值为优化目标，采用策略梯度的强化学习方法对预训练的神经机器翻译模型参数进行更新，从而得到训练好的神经机器翻译模型；使用训练好的神经机器翻译模型对给定的源语言句子进行翻译。该方法通过利用图片与文字的内在联系，可以建立零资源语言对的神经机器翻译模型。

技术领域

本发明涉及机器翻译技术领域，尤其涉及一种零平行语料多模态神经机器翻译方法。

背景技术

端到端的神经机器翻译(以下简称神经机器翻译)近几年在国内外都取得了突飞猛进的发展。神经机器翻译摒弃了统计机器翻译中繁琐的结构和复杂的特征设计，直接把平行语料交给神经网络，从而完成一个完整的翻译系统的训练。

在神经机器翻译中，即使是一个最简单的单层模型也有着大量的参数(通常为数千万的参数)需要优化，而在机器学习中训练一个具有大量参数的复杂模型就需要大量的训练数据。随着神经机器翻译的模型设计越来越复杂，模型的深度不断增加，相应地就需要更多的训练数据。然而实际中高质量的平行语料的获取需要大量的人工翻译，是极为耗时又昂贵的。因此，如何解决在没有平行语料，即零平行语料资源下的神经机器翻译问题是神经机器翻译亟需解决的一个重要问题。

围绕这个研究问题，研究者们提出了多种解决方法。其中，以单语语料相对应的图片等视觉信息为中轴构建机器翻译模型的方法是为零平行语料资源语言对构建翻译模型的一种有效方式。相关研究主要将图片当作两种语言的中轴，通过将图片用图片描述模型进行文字描述而形成平行的语料来训练翻译模型，而忽略了图片与文字信息在语义上的内在联系。上述方法虽然能通过构造平行语料来实现神经机器翻译模型的训练，但是由于图片描述模型效果有限，其产生的错误描述将会导致形成低质量的平行语料训练数据，从而影响训练的神经机器翻译模型的质量，最终导致翻译结果的准确度较低。

发明内容

本发明的目的是提供一种零平行语料多模态神经机器翻译方法，通过利用图片与文字的内在联系，可以建立零平行语料多模态神经机器翻译模型。

本发明的目的是通过以下技术方案实现的：

一种零平行语料多模态神经机器翻译方法，包括：

利用带有相应图片信息的源语言和目标语言单语语料，对预先构建的神经机器翻译模型进行预训练；

使用预训练的神经机器翻译模型将源语言中的句子翻译为目标语言的句子，根据翻译得到的句子与对应图片之间的内在联系计算句子级别的奖励值，并以最大化期望的总的奖励值为优化目标，采用策略梯度的强化学习方法对预训练的神经机器翻译模型参数进行更新，从而得到训练好的神经机器翻译模型；

使用训练好的神经机器翻译模型对给定的源语言句子进行翻译。

由上述本发明提供的技术方案可以看出，针对多模态单语语料，采用强化学习的方法，通过图片和对应文字描述之间的语义联系定义奖励的计算方法，从而实现对神经机器翻译模型的建模和训练，最终实现零平行语料多模态的神经机器翻译，使这种情况下翻译结果更加准确。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种零平行语料多模态神经机器翻译方法的流程图。

具体实施方式