[发明专利]一种基于三维信息的视觉问答方法及系统

摘要

本申请提供了一种基于三维信息的视觉问答方法及系统，在本申请提供的方法中，先获取既定场景的多视点图像信息以及问题信息；再将多视点图像信息和问题信息同时输入预设的视觉问答网络模型；然后通过视觉问答网络模型获取多视点图像信息对应的三维场景表示参数，并依据三维场景表示参数和问题信息输出答案信息。基于本申请提供的基于三维信息的视觉问答方法及系统，提出了可将直接从多视图图像捕获的三维信息集成到视觉问答模型中，通过多视图图像合并三维信息来推进视觉问答任务的策略，并在多视图数据集设置下，将三维信息与语言信息结合在一个集成的框架中，能验证三维信息的有效性。