[发明专利]一种引入外部知识的视觉问答方法

权利要求书

1.一种引入外部知识的视觉问答方法，其特征在于，包括以下步骤：

步骤1，构造图像I的视觉图G^v＝(V^v,E^v)，V^v＝{v_i}为节点集，i∈[1,N_v]，N_v为节点个数，v_i为第i个节点，表示利用Faster-RCNN从图像I中提取的第i个检测框内的特征向量，为边集合，为连接节点v_i和v_j的边，是表示第i个检测框和第j个检测框位置关系的向量，j∈[1,N_v]，j≠i；

步骤2，选取知识库中与问题最相关的N_f个事实知识构造事实知识图G^f＝(V^f,E^f)，V^f＝{f_i}为节点集，i∈[1,N_f]，f_i为第i个节点，表示第i个事实知识，为边集合，为连接节点f_i和f_j的边，表示第i个事实知识与第j个事实知识的关系，j∈[1,N_f]，j≠i；

步骤3，利用注意力机制对视觉图和事实知识图的节点、边相对问题进行运算，突出与问题相关的节点和边，然后使用图神经网络更新节点；

步骤4，在问题的引导下，从视觉图中提取相对每个事实知识的互补信息，并将所述互补信息融合到事实知识图中，可能是答案的概率最大的事实知识为问题的答案；

所述步骤3具体包括以下步骤：

对于视觉图，计算每个节点v_i相对问题q的注意力权重α_i：

α_i＝softmax(w_atanh(w₁v_i+w₂q))                 (2)

式中，w_a、w₁、w₂为学习参数，[·,·]表示向量拼接；

针对每个节点v_i，计算与其相连的所有边相对v_i和问题q的注意力权重β_ji：

β_ji＝softmax(w_b tanh(w₃v′_j+w₄q′))                 (3)

式中，q′＝w₆[v_i,q]，w_b、w₃、w₄、w₅、w₆为学习参数；

利用图神经网络更新节点，即用替换v_i：

式中，w₇为学习参数；

针对事实知识图，按照上述方法进行与视觉图相同完全相同的处理。

2.根据权利要求1所述的引入外部知识的视觉问答方法，其特征在于，的计算公式为：

式中，x_i、y_i分别为第i个检测框左上角的横坐标和纵坐标，x_j、y_j分别为第j个检测框左上角的横坐标和纵坐标，w_i、h_i分别为第i个检测框的宽和高，w_j、h_j分别为第j个检测框的宽和高。

3.根据权利要求1所述的引入外部知识的视觉问答方法，其特征在于，所述步骤4具体包括以下步骤：

计算在问题q的引导下，视觉图中的每个节点v_j对事实知识图中的每个节点f_i的注意力权重

式中，w_c、w₈、w₉为学习参数；

计算视觉图对于f_i的互补信息

利用gate机制自适应地对互补信息和事实知识图中的f_i进行融合，得到融合后的信息

式中，σ为门函数，w₁₀、w₁₁为学习参数，[·,·]表示向量拼接，表示两个向量逐元素相乘；

将反复与进行多次融合，将融合后的事实知识图输入到一个多层感知机，得到每个事实知识可能是答案的概率，概率最高的事实知识即为问题的答案。