[发明专利]一种基于模态推理图神经网络的场景文本视觉问答方法

权利要求书

1.一种基于模态推理图神经网络的场景文本视觉问答方法，其特征在于，包括以下步骤：

步骤1：构建多模态图；

步骤2：使用问题词序列来生成自注意力权重，将经过预处理的问题词嵌入与两个独立的权重相乘分别得到视觉问题特征和文本问题特征；

步骤3：在视觉问题特征和文本问题特征的指导下计算注意力权重，输入到softmax中，然后将权重与特征节点对应相乘即得到过滤后的向量；

步骤4：利用语义上下文完善视觉节点，使子图之间的信息相互融合，更准确地回答关于场景图像中文本的问题；

步骤5：更新之后的节点与对应问题特征相乘后连接输出预测答案。

2.如权利要求1所述的基于模态推理图神经网络的场景文本视觉问答方法，其特征在于，在步骤2中，给定T个单词的问题，使用预训练的BERT把单词嵌入到特征序列中，然后使用两个独立的双层MLP生成两组注意力权重，生成视觉问题特征和文本问题特征。