[发明专利]一种多跳视觉问题推理模型及其推理方法

权利要求书

1.一种多跳视觉问题推理系统，包括：

多跳视觉问题推理数据集建立单元，用于通过将场景图和知识库相融合成知识图，利用知识图构造包含多跳知识推理问答对的数据集；

卷积神经网络，用于提取输入图像的图像特征；

长短期记忆网络，用于提取问题特征；

知识路由模块化网络，用于将问题解析为查询树，其中查询树是问题的推理过程的符号化表达，并结合查询树和知识库，在知识图中提取出正确的关系或实体，进行多跳推理以给出最终的回答；

所述数据集基于自然图像场景图和外部知识库提取到的一或两个事实三元组，构造复杂问题的问题-答案对；

所述多跳视觉问题推理数据集建立单元根据场景图标注和知识库，选取若干事实三元组，对问答模板填空，生成问题，并生成相应的答案及推理中间过程标注；

所述多跳视觉问题推理数据集建立单元通过问题对应的三元组来诊断模型的可解释性，并要求模型在给出问题的答案时，同时给出对应的依据，通过衡量三元组的准确率或召回率量化模型的可解释性；

所述知识路由模块化网络进一步包括：

查询树生成网络，用于将问题解析为查询树，用以指导树形神经模块化网络的拓扑结构；

树形模块化神经网络，由查询树指导生成，其根结点所对应的模块最后接入一个多层感知机，从图片和知识库中提取出视觉依据或知识，最后将这些提取到的信息整合下通过多跳推理得到最终答案；

多层感知机，用于获取所述树形模块化神经网络的输出，多层感知处理后得到整个问题的答案；

所述查询树生成网络为一个序列到序列的循环神经网络，由一个编码器循环神经网络和一个解码器循环神经网络构成，所述编码器每次读入问题的一个单词，取最后一步的循环神经网络输出作为问题向量编码，然后用一个解码器神经网络生成查询语句，每一步的输入都是问题向量编码，输出是查询语句的一个字符，最后再用一个移入-规约语法解析器将查询语句转化为查询树。

2.如权利要求1所述的一种多跳视觉问题推理系统，其特征在于：所述树形模块化神经网络由若干个模块化神经网络构成，每个模块化神经网络为视觉推理模块或知识推理模块。

3.如权利要求2所述的一种多跳视觉问题推理系统，其特征在于：所述视觉推理模块首先由实体注意力模块和视觉注意力模块串联，然后再接入视觉与问题的共注意力模块构成，所述知识推理模块是一个基于规则的简单知识提取模块。