[发明专利]一种基于全局信息和位置嵌入的场景图生成方法

说明书

本发明涉及计算机视觉技术领域，公开了一种基于全局信息和位置嵌入的场景图生成方法，基于大型数据集中的图像，由Faster‑RCNN得到高级特征图和每个实体信息并且对目标位置编码；将特征图和实体信息拼接的特征通过基于自注意力机制的网络得到节点间与其他目标的信息连接；利用LSTM的注意力网络得到目标上下文信息；构建边上下文生成的解码信息和目标图关系的生成融合方式；通过关系计算得到最终场景图。与现有技术相比，本发明将目标特征融入原始图像的视觉信息的方法，加入位置编码信息，连接全局信息和加权信息，提升整体视觉特征对于单一目标的影响，提高了模型推理时对于场景中主要目标的关注度和主宾分类的合理性，召回率有明显提升。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于全局信息和位置嵌入的场景图生成方法。

背景技术

在场景图生成研究过程中，由于数据集标注时人为的主观性造成了视觉关系长尾分布，导致自然的数据集偏置问题，其中视觉关系长尾分布是指少数关系在大量数据中聚集，多数关系存在少部分数据集中，在关系推理时，对于依赖数据的模型结构，模型会过拟合少数关系类别，在真正的关系推理上收效甚微。因此在场景图生成方法中除了提出高复杂度的模型结构，更多的是对数据集标注的偏置进行研究。针对数据集标注的偏置问题，现有的解决方法主要从节点消息传递，引入知识先验，联合上下文信息出发，在候选场景图的节点和边上更新信息，对实体视觉特征，语义信息，空间信息进行融合推理。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种基于全局信息和位置嵌入的场景图生成方法，将目标特征融入原始图像的视觉信息的方法，加入位置编码信息，连接全局信息和加权信息，提升整体视觉特征对于单一目标的影响，提高了模型推理时对于场景中主要目标的关注度和主宾分类的合理性，在与先前工作的实验效果对比上，召回率有明显提升。

技术方案：本发明提供了一种基于全局信息和位置嵌入的场景图生成方法，包括如下步骤：

步骤1：基于数据集中的图像，由Faster-RCNN目标检测模型得到高维视觉特征图和每个实体信息并且对目标位置编码，所述实体信息包括目标视觉特征、目标边界框坐标、类别语义编码信息；

步骤2：将步骤1中高维视觉特征图和实体信息拼接的特征通过基于自注意力机制的网络输出残差连接目标特征；

步骤3：对步骤2得到的目标特征利用基于注意力的LSTM网络得到目标上下文信息，利用LSTM解码获取目标分类矩阵；

步骤4：构建边上下文生成的解码信息，以步骤3中目标分类矩阵为边上下文解码的输入，构建目标特征到边连接特征的主谓宾关系生成融合方式，所述生成融合方式为非线性的的主宾融合方式；

步骤5：根据步骤4中融合方式，得到关系概率分布向量，根据最大分数概率对应的索引，从索引与谓词的一一对应的列表中得到关系谓词，并可视化得到最终场景图表示。

进一步地，所述步骤1中由Faster-RCNN目标检测模型得到高维视觉特征图和每个实体信息的具体步骤为：

步骤1.1：对于整个VG视觉基因组数据集，预处理之后，利用Faster-RCNN模型作为目标检测器，目标检测器的基本网络用VGG16卷积网络，通过VGG16将原始图像映射为高维视觉特征图；

步骤1.2：由Faster-RCNN模型中的RPN网络生成实体信息；

步骤1.3：对边界框进行显示计算得到位置编码。

进一步地，所述步骤2具体方法为：

步骤2.1：将步骤1中映射的高维视觉特征图进行自适应平均池化得到可对齐融合的视觉特征图；