[发明专利]用于视觉问答的系统和方法

摘要

本文描述的是用于生成并且使用用于视觉问答任务(VQA)的基于关注的深度学习架构以对图像(静止图像或视频图像)相关问题自动生成答案的系统和方法。为了生成正确的答案，模型的关注根据问题集中于图像中的相关区域上是重要的，因为不同问题可能就不同图像区域的属性提问。在实施方式中，此类经问题引导的关注利用可配置的卷积神经网络(ABC‑CNN)学习。ABC‑CNN模型的实施方式通过将图像特征图与通过问题语义确定的可配置的卷积内核卷积来确定关注图。在实施方式中，经问题引导的关注图集中于问题相关的区域上，并且过滤掉不相关区域中的噪声。

主权项

一种改进对问题输入生成的答案的准确性的计算机实施的方法，其中，所述问题输入与图像输入相关，所述方法包括：接收所述图像输入；接收与所述图像输入相关的所述问题输入；将所述问题输入和所述图像输入输入到基于关注的可配置卷积神经网络框架中以生成答案，所述基于关注的可配置卷积神经网络框架包括：图像特征图提取组件，包括从所述图像输入提取图像特征图的卷积神经网络；语义问题嵌入组件，从所述问题输入获得问题嵌入；经问题引导的关注图生成组件，接收所述图像特征图和所述问题嵌入，并且获得集中于所述问题输入所询问的区域或多个区域的经问题引导的关注图；以及答案生成组件，通过使用所述经问题引导的关注图加权所述图像特征图，获得经关注加权的图像特征图，并且基于所述图像特征图、所述问题嵌入和所述经关注加权的图像特征图的融合来生成答案。