[发明专利]一种基于图卷积的视觉问答增强方法

权利要求书

1.一种基于图卷积的视觉问答增强方法，其特征在于包括以下步骤：

步骤1、分别提取图片和问题的特征表示；

步骤2、提取基于问题生成的图片中各目标之间的关系，构建关系特征检测器；

步骤3、将带有问题信息的图片生成为graph，并且为每个顶点挑选最相关的目标，为每个顶点生成新的特征表示之后，对graph进行最大池化和分类；

步骤2所述的构建关系特征检测器，具体如下：

首先将带有resnet101的faster-rcnn作为对象检测器；其次采用模型的输出并应用NMS操作并按IOU阈值选择32个对象；最后通过平均池层，将特征中的提议集成到2048个维度；

对象特征v_i是在faster-rcnn中从RPN中生成，其中i＝0,1,2，...，k-1，为了学习单实例属性以及原始检测操作，设置属性分类器来学习实例属性；因此单个的属性学习概况如下：

其中W*和b*是可学习的参数；LOC_i，CLS_i和ATT_i是第i个物体的边界框、类和属性预测；

通过以下等式实现实体之间的关系：

N_i＝W₁v_i+b₁ 公式4

R_i,j＝W₂(N_i+N_j)+b₂ 公式5

其中，W₁、W₂、b₁、b₂是用于将实例映射到关系域的可学习参数，N_i是用于将单个的实例特征映射到关系域的节点，R_i,j是提议实例i和j的关系预测；在关系训练中，提出的特征首先由全连接层映射到关系空间；然后，融合映射的功能以获得提出的特征之间的关系标签；设作品中有k个特征，所有k*(k-1)个关系组合都参与训练；实际标签由锚点设置和检测ROI分配；目标标签是VrR-VG数据集中的所有关系以及一个附加的无关系的标签；

步骤3具体的实现如下：

引入一个图像卷积网络(GCN)图学习器，用于捕获基于问题的图形的语义信息；构造一个无向图其中v是所有检测到的区域顶点的集合，且|v|＝N；每个表示每个图像物体的特征向量，ε是要学习的图形关系边缘的集合和是对应的邻接矩阵；

目前，GCN架构中，每个顶点邻域的编码信息定义为：

其中，W是一个权重矩阵，b是偏向量，σ(·)是一个非线性激活函数；代表顶点v_i的邻居集，也包括自己；以邻接矩阵M的形式对图结构进行代表性描述，与顶点相乘表示；对于每个顶点，把所有相邻顶点的特征向量都加起来；同时将关系特征检测器生成的关系信息R_i,j添加到邻接矩阵M中，帮助重构顶点；

学习邻接矩阵，每个节点(i，j，M_i,j)∈ε以问题的编码q和关系信息为条件；模拟特征向量之间的相似性，以及特征向量与给定问题的相关性；首先将N个视觉特征中的每个特征和问题特征q进行拼接，写成{v_n||q}；然后计算一个联合嵌入：

x_n＝H({v_n||q})

其中是一个非线性函数而d_v,d_q,d_x分别是图像特征向量的维数、问题特征向量的维数和联合嵌入的维数；在此之后将具有自循环的图的基于问题的交互矩阵定义为A＝XX^T，其中矩阵是所有联合嵌入x_n的拼接；将关系信息矩阵R与交互矩阵A组合，因此邻接矩阵M表示为：M＝R+A，因此

2.根据权利要求1所述的一种基于图卷积的视觉问答增强方法，其特征在于步骤3具体的实现进一步如下：

确认每个顶点选择邻居的条件；为了每个图节点学习稀疏的邻域系统，利用如下排序策略：

其中，topk返回与输入向量关联值最大的k个索引，并且y_i表示模拟邻接矩阵的第i行；这种排序确保中心顶点可以找到与其最相关的邻节点。