[发明专利]一种多跳视觉问题推理模型及其推理方法

说明书

本发明公开了一种多跳视觉问题推理模型及其推理方法，所述模型包括：多跳视觉问题推理数据集建立单元，用于通过将场景图和知识库相融合成知识图，利用知识图构造包含多跳知识推理问答对的数据集；卷积神经网络，用于提取输入图像的图像特征；长短期记忆网络，用于提取问题特征；知识路由模块化网络，用于将问题解析为查询树，其中查询树是问题的推理过程的符号化表达，并结合查询树和知识库，在知识图中提取出正确的关系或实体，进行多跳推理以给出最终的回答。

技术领域

本发明涉及视觉问题回答、自然语言处理、图像识别和深度学习领域，特别是涉及一种多跳视觉问题推理模型及其推理方法。

背景技术

目前的视觉问答问题往往只要求回答问题的答案，而视觉问答的终极目标要求我们得到的是一个能够理解任何推理复杂度的问题(例如单跳推理或多跳推理)，同时给予可解释的诊断结果，以提高模型的可信度。一个理想的模型在回答“这个女孩手上拿的东西有什么用？”时，应该要能够理解问题中的内在实体关系，将实体与图像中视觉依据的关联起来，通过提取关键物体最可能需要的关系或属性来给出回答。

现有的自然图像场景视觉问答数据集通常包含相对简单的问题，且仅评估最终的答案预测的准确性，缺乏对中间推理结果的评估以及关于系统能力的可解释的理由。此外，人类标注的问题和答案之间往往有着很强的相关性，这使得端到端网络能够通过自然地利用数据集偏差而不是对图像和问题进行共同推理来实现高性能。最近有一些工作通过平衡问答对来解决这个问题，CLEVR提出了一个合成数据集，其中基于给定的组成布局生成图像和问答对，然而，在图像特征图和问题编码之间融合的常规神经网络仍然正确地回答了这些复杂和组合问题，仍然很难诊断出神经网络学到了什么以及如何获得正确的答案。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种多跳视觉问题推理模型及其推理方法，以实现对视觉问题进行多跳推理并作出回答和答题依据。

为达上述目的，本发明提出一种多跳视觉问题推理模型，包括：

多跳视觉问题推理数据集建立单元，用于通过将场景图和知识库相融合成知识图，利用知识图构造包含多跳知识推理问答对的数据集；

卷积神经网络，用于提取输入图像的图像特征；

长短期记忆网络，用于提取问题特征；

知识路由模块化网络，用于将问题解析为查询树，其中查询树是问题的推理过程的符号化表达，并结合查询树和知识库，在知识图中提取出正确的关系或实体，进行多跳推理以给出最终的回答。

优选地，所述数据集基于自然图像场景图和外部知识库提取到的一或两个事实三元组，构造复杂问题的问题-答案对。

优选地，所述多跳视觉问题推理数据集建立单元根据场景图标注和知识库，选取若干事实三元组，对问答模板填空，生成问题，并生成相应的答案及推理中间过程标注。

优选地，所述多跳视觉问题推理数据集建立单元通过问题对应的三元组来诊断模型的可解释性，并要求模型在给出问题的答案时，同时给出对应的依据，通过衡量三元组的准确率或召回率量化模型的可解释性。

优选地，所述知识路由模块化网络进一步包括：

查询树生成网络，用于将问题解析为查询树，用以指导树形神经模块化网络的拓扑结构；

树形模块化神经网络，由查询树指导生成，其根结点所对应的模块最后接入一个多层感知机，从图片和知识库中提取出视觉依据或知识，最后将这些提取到的信息整合下通过多跳推理得到最终答案；

多层感知机，用于获取所述树形模块化神经网络的输出，多层感知处理后得到整个问题的答案。