[发明专利]基于多视图信息融合的教育领域图像场景图生成方法

说明书

本发明提出了一种基于多视图信息融合的教育领域图像场景图生成方法，从图中对象的视觉信息以及对象间的多种交互信息等多个方面捕捉图像的语义。本发明的贡献在于：提出了一种面向教育领域图像的多视图信息融合的场景图Scene Graph生成方法，该方法可以利用图像的多个不同视图view，挖掘出图像中对象的语义、以及对象间不同类型的关联关系，从而生成一个包含多种类型节点和边的异构场景图。该场景图从视觉对象的语义，以及对象间不同的关联表征教育领域图像抽取、复杂的语义信息。

技术领域

本发明属于计算机应用领域、多视图信息融合、教育领域视觉场景图生成方法的研究，特别涉及一种基于卷积神经网络和图神经网络，运用网络拓扑结构，让计算机生成一种可以用目标间关系表示图像特征及信息的结构化的图结构的方法。

背景技术

场景图可以将原图像中的有效信息以一种简洁明了且结构化的方式表示出来，这种特性使得场景图有较高的应用价值，经过场景图生成任务提取出来的信息可以作为其他任务的输入。场景图结构的信息目前已经被证实可以帮助多种类型的计算机视觉任务增强效果，例如图像生成任务可以利用场景图提供的信息有效的生成高质量的图像，视觉图像问答(Visual Question Answering，VQA)则可以直接使用场景图中包含的语义信息对VQA任务中的问题进行回答，增强了VQA模型的推理能力。

在以往的计算机视觉领域中，有许多的任务的进行都是一步到位的，这意味着每个系统都需要从原图像中先提取信息，然后再对信息做相关处理，最后再对输出进行预测。这样的一个网络将至少需要包含信息特征提取和信息特征处理两个模块，导致网络比较复杂，训练成本也很高，并且由于很难对图像中的重点区域和非重点区域做出区分而导致网络的效果无法得到保障。以场景图作为信息传递的载体，可以有效的使得下游任务可以更多的关注自身网络效果的提升，将从图像中提取有效的结构化信息的问题交给场景图生成任务，降低了网络的复杂程度，功能分离也使得每一部分网络效果可以得到保障。

发明内容

要解决的技术问题

教育领域图像中视觉对象的底层视觉信息(颜色、纹理等)较为稀疏，对图像语义的理解还需结合图中出现的数字和对象间的交互等信息，这导致传统基于底层视觉信息的图像特征难以准确表征图像语义。针对以上教育领域图像的特点，本发明提出了一种基于多视图信息融合的视觉场景图生成方法，从图中对象的视觉形象和对象间的交互信息等多个方面捕捉图像的语义。

技术方案

一种基于多视图信息融合的教育领域图像场景图生成方法，其特征在于步骤如下：

步骤1：多视图的构建

步骤1.1：对象视图的构建：利用Faster R-CNN对象检测器，识别图中对象的类别和位置坐标，并利用卷积神经网络构建被识别对象的视觉信息编码，与图中对象进行结合，作为视觉图的一个节点构建一个全连接的对象视图；

步骤1.2：语义视图的构建：首先基于OCR技术和无监督语义分割技术，细粒度地识别图中文本信息，然后对不同类别的上下文信息进行加权融合，增加网络的推理能力，最后构成一个全连接的语义视图；

步骤2：多视图信息融合模块的构建

步骤2.1：语义视图和对象视图的融合：利用语义视图中的节点信息，使用图卷积网络，在语义视图和对象视图之间构建一个全连接的网络，对对象视图中的节点信息进行更新，期望以此获得对象间的语义信息；

步骤2.2：对象视图的自融合：在融合过语义视图之后，利用步骤2.1的融合方法，构建对象视图之间的全连接网络，对对象视图进行自更新；

步骤3：视觉场景图生成模块的构建