[发明专利]一种基于预训练的多模态机器翻译方法

说明书

本发明提供一种基于预训练的多模态机器翻译方法，步骤为：处理多模态机器翻译数据集Multi30k，包含文本描述和图像两部分输入；构建Vision Transformer模型，处理图片输入，得到图片编码表示；继承Huggingface的预训练参数，构建基于Transformer结构的mBart模型；mBart模型的文本编码模块处理文本输入，得到文本编码表示；设计提示模板，连接图片编码表示和文本编码表示，送入mBart模型的编码器模块；固定mBart模型的预训练参数，将KL散度引入损失函数计算，进行模型的微调。本发明通过继承大规模文本预训练模型的参数，微调图像编码表示模块，有效地将大规模文本预训练知识应用到多模态机器翻译，提升多模态机器翻译的性能，为后续其他多模态任务的研究提供思路。

技术领域

本发明涉及一种多模态机器翻译技术，具体为基于预训练的多模态机器翻译方法。

背景技术

机器翻译是利用计算机将一种自然语言转换成另一种自然语言的过程。机器翻译是自然语言处理领域的传统任务，它的发展经历了基于规则的方法、基于实体的方法、统计机器翻译再到现在的神经机器翻译。在近几年的主流模型框架Transformer的基础上，已有大量的研究者对其进行了优化改进，如今的机器翻译技术已经相当成熟，应用到了日常生活中。

多模态机器翻译是将文本对应的图片信息引入传统的机器翻译过程的一项多模态任务。不同于机器翻译数十年的发展历程，多模态机器翻译课题作为传统神经机器翻译课题的延申，只发展了几年的时间。当前的多模态机器翻译任务，旨在利用与双语文本匹配的图片信息，来补充额外信息、增强翻译，是一项跨模态、跨领域的研究任务。

对于多模态机器翻译的图片部分，由于现有的多模态机器翻译数据集规模有限，很难从头训练一个图片特征抽取器。现有的方法都是基于预训练的模型，如Resnet、RCNN等，提取图片特征，从而获得充分的图片内容表示能力。对于文本部分，当前的数据规模足以从头训练一个优秀的翻译模型，因此现有的讨论往往忽略了文本模块作为核心部分对多模态机器翻译的影响。实际上，很多的翻译错误来源于文本翻译本身，所以需要图片提供额外的正确信息进行补充。

由于目前多模态机器翻译方法大多局限于模态信息的提取与模态交互结构的改进，此类方式在文本非受限的情况下，性能的提升十分有限。换而言之，当前的方法无法解决充分文本本身存在的问题。基于当前存在的问题，图像部分的预训练方法给予了启示，对于数据量稀缺的多模态机器翻译，通过大规模的预训练能够进一步提升翻译质量，解决文本本身存在的问题。然而，多模态机器翻译数据稀缺的问题，同样也是双语和图像联合预训练的瓶颈。虽然目前已有研究人员通过扩充多模态机器翻译数据集做了预训练，一定程度上证明了预训练的作用。但是数据稀缺的问题使得直接预训练的方式只适用于当前测试集文本简单的情况，很难处理更复杂的任务。

针对上述问题，考虑到大规模文本预训练模型mBart具有强大的文本表示能力，将其迁移到多模态机器翻译领域，能够充分利用预训练模型的文本表示能力，突破数据稀缺导致的性能瓶颈，进一步提升多模态机器翻译的性能。在使用文本预训练模型增强多模态机器翻译时，也面临着以下问题：如何将图像模块融入文本预训练的mBart模型，如何对齐图片表示与文本表示，如何进行模型的微调。这些问题的存在，使得目前在多模态机器翻译领域文本预训练模型的应用还不成熟，需要进一步的探索。

发明内容

针对现有多模态机器翻译技术大多局限于模态信息的提取与模态交互结构的改进，性能提升十分有限的问题，将大规模文本预训练模型的优势引入多模态机器翻译领域的尝试还不成熟等不足，本发明要解决的技术问题是提供一种基于预训练的多模态机器翻译方法，探索大规模文本预训练模型在多模态机器翻译任务上的应用。

为解决上述技术问题，本发明采用的技术方案是：

一种基于预训练的多模态机器翻译方法，包括以下步骤：

1)处理多模态机器翻译数据集，包含文本描述和对应图片两部分输入数据；