[发明专利]基于多视图信息融合的教育领域图像场景图生成方法

权利要求书

1.一种基于多视图信息融合的教育领域图像场景图生成方法，其特征在于步骤如下：

步骤1：多视图的构建

步骤1.1：对象视图的构建：利用Faster R-CNN对象检测器，识别图中对象的类别和位置坐标，并利用卷积神经网络构建被识别对象的视觉信息编码，与图中对象进行结合，作为视觉图的一个节点构建一个全连接的对象视图；

步骤1.2：语义视图的构建：首先基于OCR技术和无监督语义分割技术，细粒度地识别图中文本信息，然后对不同类别的上下文信息进行加权融合，增加网络的推理能力，最后构成一个全连接的语义视图；

步骤2：多视图信息融合模块的构建

步骤2.1：语义视图和对象视图的融合：利用语义视图中的节点信息，使用图卷积网络，在语义视图和对象视图之间构建一个全连接的网络，对对象视图中的节点信息进行更新，期望以此获得对象间的语义信息；

步骤2.2：对象视图的自融合：在融合过语义视图之后，利用步骤2.1的融合方法，构建对象视图之间的全连接网络，对对象视图进行自更新；

步骤3：视觉场景图生成模块的构建

步骤3.1：基于语义关系的视觉场景图的生成：对象视图的节点特征更新后，通过计算节点之间语义交互的概率分布，生成基于语义关系的视觉场景图；视觉场景图中的节点代表对象的区域及其类别标签，边表示视觉对象之间的语义交互类别；

步骤3.2：基于位置关系的视觉场景图的生成：首先利用视觉对象的边界框的交并比Intersection over Union，判断两个对象之间是否存在包含或重叠的关系；若IOU0.5，则通过计算它们边界框中心点之间的距离及角度，来判断它们之间的细粒度位置交互类别，所述的细粒度位置交互类别包括上、下、左、右、左上、左下、右上和右下八种类别。

2.根据权利要求1所述基于多视图信息融合的教育领域图像场景图生成方法，其特征在于：步骤2.1中所述的语义视图和对象视图的融合方法，具体如下：

利用语义视图中的节点信息，使用图卷积网络，在语义视图和对象视图之间构建一个全连接的网络，对对象视图中的节点信息进行更新；针对对象视图中的节点o_i，其特征向量更新公式如下：

其中N(i)是节点o_i的邻居节点的集合，b代表模型的偏移量，W代表模型的参数，l代表对象视图中节点信息的更新迭代次数，c_ji通过下式计算得到，代表着节点度的标准差；

σ代表着Relu激活函数，即

f(x)＝max(0,x), (2-3)

e_ji代表着在N(i)中，节点o_j到节点o_i的权重，可由下式计算得到：

ρ[s_i,o_j]代表着s_i和o_j的相似程度，由s_i和o_j的类别和视觉特征共同决定；由下式计算得到；

ρ[s_i,o_j]＝f_s((f_l(s_i)·f_l(o_j))||(f_fe(s_i)·f_fe(o_j))), (2-5)

f_l(·)是类别编码器，通过Fasttext获取类别代表的词向量；f_fe(·)代表视觉特征映射器，将高维的视觉特征映射到低维空间中；f_s(·)是相似度编码器，用于计算两个节点之间的相似程度；

distance(s_i,o_j)代表两个物体之间的距离，物体间距离越远，两物体互相影响的程度就越浅；“||”代表着拼接操作，将物体间距离和相似程度拼接在一起；将s_i对o_j的影响系数在节点o_j处归一化。