[发明专利]一种基于迭代精细化的图像场景图谱生成方法

摘要

本发明公开一种基于迭代精细化的图像场景图谱生成方法，涉及图像场景图谱领域，包括步骤：输入图像场景图谱数据集及其参数，提取图像的视觉特征；结合训练集中的图像数据以及场景图谱数据，利用视觉信息和语义信息对实体对之间的视觉关系做分类，生成图像场景图谱；产生出若干个区域包围盒和对应的每个区域的特征向量，融合区域特征向量得到图像描述文段的特征向量；将图像描述文段的特征向量输入到图像描述文段生成器中生成图像描述文段；构建精细化图，定义精细化实体对的特征向量和区域特征向量的方法，迭代执行图像场景图谱生成、图像成段图像描述文段生成、精细化特征向量，至达到最大迭代次数为止。本发明提高了图像场景图谱生成的效果。

主权项

1.一种基于迭代精细化的图像场景图谱生成方法，其特征在于，包括以下步骤：步骤1、输入图像场景图谱数据集及其参数，用深度神经网络提取图像场景图谱数据集中图像的视觉特征；步骤2、结合训练集中的图像数据以及场景图谱数据，利用视觉信息和语义信息对实体对之间的视觉关系做分类，生成图像场景图谱；步骤3、用区域检测器产生出若干个区域包围盒和对应的每个区域的特征向量，融合区域特征向量得到图像描述文段的特征向量；将图像描述文段的特征向量输入到图像描述文段生成器中，以生成图像描述文段；步骤4、构建精细化图，定义精细化实体对的特征向量和区域特征向量的方法，精细化特征向量后，迭代执行图像场景图谱生成、图像成段图像描述文段生成、精细化特征向量这三个步骤直到达到最大迭代次数为止。