[发明专利]一种基于三维信息的视觉问答方法及系统

权利要求书

1.一种基于三维信息的视觉问答方法，包括：

获取既定场景的多视点图像信息以及问题信息；

将所述多视点图像信息和所述问题信息同时输入预设的视觉问答网络模型；

通过所述视觉问答网络模型获取所述多视点图像信息对应的三维场景表示参数，并依据所述三维场景表示参数和所述问题信息输出答案信息；

其中，所述视觉网络模型预先训练至收敛状态，用于根据输入的多视点图像信息以及问题信息输出与所述问题信息对应的答案信息。

2.根据权利要求1所述的方法，其特征在于，所述视觉问答网络模型包括生成查询网络；其中，所述生成查询网络包括预先训练的场景表示网络；

所述通过所述视觉问答网络模型获取所述多视点图像信息对应的三维场景表示参数，包括：

通过所述生成查询网络中的场景表示网络基于所述多视点图像信息构建对应不同视点的场景表示参数。

3.根据权利要求2所述的方法，其特征在于，所述视觉问答网络模型包括视觉问答组件；所述视觉问答组件包括图像特征提取网络、线性调制网络和分类器网络；

所述依据所述三维场景表示参数和所述问题信息输出答案信息，包括：

将所述三维场景表示参数输入所述图像特征提取网络，通过所述图像特征提取网络提取所述三维场景表示参数中对应各视点的特征数据；

将各视点所述图像的特征数据和所述问题信息输入所述线性调制网络，通过所述线性调制网络对各视点所述特征数据进行优化，得到各视点的优化特征数据；

将各视点的所述优化特征数据输入所述分类器网络，通过所述分类器网络预测并输出所述问题信息的答案。

4.根据权利要求3所述的方法，其特征在于，所述通过所述线性调制网络对各视点所述特征数据进行优化，得到各视点的优化特征数据，包括：

基于所述线性调制网络应用仿射变换，根据所述问题信息选择并优化各视点的所述特征数据；

生成与所述问题信息对应的各视点的优化特征数据。

5.根据权利要求4所述的方法，其特征在于，所述将各视点的所述优化特征数据输入所述分类器网络，通过所述分类器网络预测并输出所述问题信息的答案之前，还包括：

通过视图池化操作对各视点的所述优化特征数据进行组合，形成组合特征数据；

所述将各视点的所述优化特征数据输入所述分类器网络，通过所述分类器网络预测并输出所述问题信息的答案，包括：

将所述组合特征数据输入所述分类器网络，通过所述分类器网络预测并输出所述问题信息的答案。

6.一种基于三维信息的视觉问答系统，包括：

图像信息获取模块，其配置成获取既定场景的多视点图像信息以及问题信息；

信息输入模块，其配置成将所述多视点图像信息和所述问题信息同时输入预设的视觉问答网络模型；

答案信息输出模块，其配置成通过所述视觉问答网络模型获取所述多视点图像信息对应的三维场景表示参数，并依据所述三维场景表示参数和所述问题信息输出答案信息；

其中，所述视觉网络模型预先训练至收敛状态，用于根据输入的多视点图像信息以及问题信息输出与所述问题信息对应的答案信息。

7.根据权利要求6所述的系统，其特征在于，所述视觉问答网络模型包括生成查询网络；其中，所述生成查询网络包括预先训练的场景表示网络；

所述答案信息输出模块，还配置成：

通过所述生成查询网络中的场景表示网络基于所述多视点图像信息构建对应不同视点的场景表示参数。