[发明专利]一种基于三维信息的视觉问答方法及系统

说明书

本申请提供了一种基于三维信息的视觉问答方法及系统，在本申请提供的方法中，先获取既定场景的多视点图像信息以及问题信息；再将多视点图像信息和问题信息同时输入预设的视觉问答网络模型；然后通过视觉问答网络模型获取多视点图像信息对应的三维场景表示参数，并依据三维场景表示参数和问题信息输出答案信息。基于本申请提供的基于三维信息的视觉问答方法及系统，提出了可将直接从多视图图像捕获的三维信息集成到视觉问答模型中，通过多视图图像合并三维信息来推进视觉问答任务的策略，并在多视图数据集设置下，将三维信息与语言信息结合在一个集成的框架中，能验证三维信息的有效性。

技术领域

本申请涉及视觉问答领域，特别是涉及一种基于三维信息的视觉问答方法及系统。

背景技术

人类通过眼睛，耳朵和其他感官感知周围的世界，并通过使用口头或书面语言与他人分享和记录思想和事件。但是，针对视觉功能的计算机视觉(Computer Vision，简称CV)和针对自然语言的自然语言处理(Natural Language Process，简称NLP)方法进行了相当长时间的发展。

视觉问答(Visual QuestionAnswering，英文简称VQA)作为“人工智能(Artificial Intelligence，简称AI)完整”的CV和NLP多模式任务而引起了广泛关注。VQA任务旨在回答有关所提供图像内容的给定问题。VQA任务模型对环境的感知和回答问题的过程进行建模；它可以直接应用于各种机器人应用。

现有的大部分VQA方法根据给定问题和单个图像预测答案。在实际环境中，基于三维(three dimensional，简称3D)信息的识别对于回答各种情况下的给定问题非常必要，例如严重遮挡的场景。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种基于三维信息的视觉问答方法，包括：

获取既定场景的多视点图像信息以及问题信息；

将所述多视点图像信息和所述问题信息同时输入预设的视觉问答网络模型；

通过所述视觉问答网络模型获取所述多视点图像信息对应的三维场景表示参数，并依据所述三维场景表示参数和所述问题信息输出答案信息；

其中，所述视觉网络模型预先训练至收敛状态，用于根据输入的多视点图像信息以及问题信息输出与所述问题信息对应的答案信息。

可选地，所述视觉问答网络模型包括生成查询网络；其中，所述生成查询网络包括预先训练的场景表示网络；

所述通过所述视觉问答网络模型获取所述多视点图像信息对应的三维场景表示参数，包括：

通过所述生成查询网络中的场景表示网络基于所述多视点图像信息构建对应不同视点的场景表示参数。

可选地，所述视觉问答网络模型包括视觉问答组件；所述视觉问答组件包括图像特征提取网络、线性调制网络和分类器网络；

所述依据所述三维场景表示参数和所述问题信息输出答案信息，包括：

将所述三维场景表示参数输入所述图像特征提取网络，通过所述图像特征提取网络提取所述三维场景表示参数中对应各视点的特征数据；

将各视点所述图像的特征数据和所述问题信息输入所述线性调制网络，通过所述线性调制网络对各视点所述特征数据进行优化，得到各视点的优化特征数据；

将各视点的所述优化特征数据输入所述分类器网络，通过所述分类器网络预测并输出所述问题信息的答案。

可选地，所述通过所述线性调制网络对各视点所述特征数据进行优化，得到各视点的优化特征数据，包括：