[发明专利]一种多模态场景图知识增强的对抗式多模态预训练方法

说明书

本发明公开了一种多模态场景图知识增强的对抗式多模态预训练方法。本发明步骤：1、构建图像区域的特征表示及图像先验知识，2、构建文本及跨模态先验知识，3、构建多模态场景图，4、构建对抗式噪声生成网络与多模态预训练网络，5、多模态场景图知识增强的对抗式预训练。本发明通过从图像和文本两个模态中提取先验知识，以此构建多模态场景图，并构建以多模态场景图知识增强的多模态自注意力网络为核心的对抗噪声生成网络，为输入的图文对数据生成噪声扰动，与多模态预训练网络进行对抗式多模态预训练，最终在下游任务上得到了更好的性能表现。

技术领域

本发明提出一种多模态场景图知识增强的对抗式多模态预训练方法。核心方法为通过从图像和文本两个模态中提取先验知识，以此构建多模态场景图，并构建以多模态场景图知识增强的多模态自注意力网络为核心的对抗噪声生成网络，为输入的图文对数据生成噪声扰动，与多模态预训练网络进行对抗式多模态预训练。

背景技术

受到谷歌研究者提出的基于“预训练-微调”范式的BERT模型在自然语言理解任务上成功的启发，一些用于解决广泛的视觉与语言(Vision-and-Language，V+L)任务的多模态预训练(Vison-and-Language Pretraining，VLP)模型被提出。这些方法首先在一个大型的图文语料库中预训练基于Transformer的模型，然后在包括视觉问答、图文检索和基于文本的视觉内容定位等下游的视觉与语言任务中进行微调。与先前只适用于一种视觉与语言任务的方法不同，多模态预训练模型可以推广到多个视觉与语言任务，并且在这些任务上都取得了显著的提升表现。

在图像区域和文本词语中学到细粒度的语义对齐是视觉与语言任务中非常关键的一点。然而，在大规模场景中对图像区域和文本词语进行细粒度的人工标注是非常昂贵并且不现实的。因此，现有的大多数多模态预训练方法都使用了弱监督学习的策略来隐式地学习这种对齐。这些方法将图像区域和文本词语作为输入，采用多层的Transformer作为主干网络，通过粗粒度的图文匹配监督来学习细粒度的语义对齐。除此之外，模态内和模态间的干扰以及图文对数据集中广泛存在的噪声数据也给学习语义上的对齐带来了更多的挑战。

在进行多模态预训练时，如何显式或隐式地增强模型学到更细粒度的跨模态语义对齐是非常值得研究的问题。本专利拟从在多模态预训练中增强细粒度语义对齐学习的几个关键点切入展开探讨，形成一套完整的多模态场景图知识增强的对抗式多模态预训练方法。

发明内容

本发明的目的是针对现有技术的不足，提供了一种多模态场景图知识增强的对抗式多模态预训练方法。本发明主要包含两点：

使用图像区域之间的相对位置关系信息和相对空间关联信息建模图像场景图，作为图像模态内的先验知识；使用文本词语之间的语义关联信息建模文本场景图，作为文本模态内的先验知识；使用图像区域与文本词语之间的语义相似性信息建模跨模态关联图，并以此联合图像场景图与文本场景图组成包含模态内与模态间知识的多模态场景图。

构建多模态场景图知识增强的多模态自注意力网络，并以此构建对抗式噪声生成网络，使其能充分发掘模态内与模态间的表征关联，生成有针对性的噪声扰动，并与多模态预训练模型进行对抗式预训练，使得多模态预训练模型能够隐式地学习到更丰富的跨模态细粒度对齐信息。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤(1)：构建图像区域的特征表示及图像先验知识；

对于数据集中的每一张图像，使用训练好的目标检测网络抽取图像中包含的一系列物体和它们对应的视觉特征、空间位置，并作为图像区域的特征表示。通过物体的空间位置计算得到图像区域之间的相对位置信息以及图像区域之间的相对空间关联信息，将相对位置信息并作和相对空间关联信息为图像的先验知识。

步骤(2)：构建文本及跨模态先验知识；