[发明专利]一种基于模态推理图神经网络的场景文本视觉问答方法

说明书

本发明公开了一种基于模态推理图神经网络的场景文本视觉问答方法，包括：构建多模态图；将经过预处理的问题词嵌入与两个独立的权重相乘分别得到视觉问题特征和文本问题特征；将权重与特征节点对应相乘即得到过滤后的向量；更准确地回答关于场景图像中文本的问题；更新之后的节点与对应问题特征相乘后连接输出预测答案。本发明利用图像中多种形式的信息帮助理解场景文本内容，将场景文本图片分别预处理成视觉对象图和文本图的形式，并且在问题自注意力模块下过滤多余的信息；使用加入注意力的聚合器完善子图之间相互的节点特征从而融合不同模态之间的信息，更新后的节点利用不同模态的上下文信息为答疑模块提供了更好的功能。

技术领域

本发明属于视觉问答的技术领域，尤其涉及一种基于模态推理图神经网络的场景文本视觉问答方法。

背景技术

深度学习使计算机视觉(CV)和自然语言处理(NLP)获得巨大的进展，视觉和自然语言之间的跨领域学科已经吸引了强烈的关注，如视觉问答(visual questionanswering，VQA)，视觉问答的主要目标就是让计算机根据输入的图片和问题输出一个符合自然语言规则且内容合理的答案。针对一张特定的图片，如果想要有效的通过图像中的视觉特征与问题中的语义特征相关联从而推断出问题的答案，需要让视觉问答模型对图片的内容、问题的含义和意图以及相关的常识有一定的理解。视觉问答任务涉及到细粒度识别、物体识别和对问题所包含文本的理解等多方面的技术。通常视觉问答模型由三个模块构成。特征提取模块使用卷积神经网络提取图片的特征，使用循环神经网络提取问题的特征；特征融合模块将问题特征与图片特征融合为一个能够表征当前任务的抽象特征；答案分类模块将融合后的特征作为输入，对该特征进行分类，分类类别数由候选答案的数量决定。而最近提出的数据集TextVQA和ST-VQA都是带有文字信息的场景图片，数据集中每张图像都带有真实存在的文字语义并且需要理解图像场景文本来回答问题。使用一般的视觉问答模型去处理，在这些数据集上普遍表现的效果并不好。针对带有视觉、文本和问题信息特征的多模态数据集，目前更多的是使用Transformer或者使用图神经网络(Graph NeuralNetwork，GNN)来将不同的模态信息融合在一起，其中，多模态图神经网络MM-GNN使用图神经网络将图像表示为三个图，并引入三个聚合器来引导消息从一个图传递到另一个图预测生成答案。

现有技术的MM-GNN用于回答需要阅读的许多问题。给定一个包含可视对象和场景文本的图像和一个问题，其目标是生成答案。MM-GNN分三个步骤回答了问题:(1)构建构建一个三层图结构，用于表示图像中的三种模态，即视觉实体(包括文本和对象)的视觉模态、场景文本的语义模态和与数字相关的文本的数值模态，三个图中节点的初始表示是由先验得到的，例如从语料库学习到的单词嵌入和更快的RCNN特征。(2)MM-GNN用三个基于注意力的聚合器，这些聚合器根据两个节点在图像中的视觉外观和布局信息以及问题来计算它们的相关性得分，通过图间或图内的方式传递信息，它们可以引导一个子图之间的信息流到另一个子图或自身，依次动态更新节点的表示，更新后的表示包含更丰富、更精确的信息，使回答模型更容易注意到正确的答案。(3)答案预测模块，利用这些特性输出答案。

MM-GNN在聚合之前使用隐式的全连接图没有进行特征过滤，即没有去掉无用或者冗余的特征，提取特征时会效果不好。在聚合时候使用三个聚合器去聚合特征，对于语义和语义集合和语义-数值聚合相比较视觉-语义聚合意义作用不大，消耗计算量过多。

发明内容

基于以上现有技术的不足，本发明所解决的技术问题在于提供一种基于模态推理图神经网络的场景文本视觉问答方法，利用图像中多种形式的信息帮助理解场景文本内容，利用不同模态的上下文信息为答疑模块提供了更好的功能。

为了解决上述技术问题，本发明提供一种基于模态推理图神经网络的场景文本视觉问答方法，包括以下步骤：

步骤1：构建多模态图；

步骤2：使用问题词序列来生成自注意力权重，将经过预处理的问题词嵌入与两个独立的权重相乘分别得到视觉问题特征和文本问题特征；