[发明专利]一种基于图像全局特征注入的视觉问答方法

摘要

本发明属于计算机视觉和自然语言处理结合的跨模态方法。目的是提供一种基于图像全局特征注入的视觉问答方法；以通过将图像全局特征作为区域特征的补充，促进了模型的视觉推理能力，从而导致预测结果更加精确。技术方案是：通过对象检测模块提取图像区域特征，通过词向量模型和时序模型提取问题特征；随后将问题特征和图像区域特征送入注意力网络中，提取用于回答问题所需的上下文内容，在注意力学习的过程中，通过层内聚合和层间聚合生成图像的全局特征；然后利用双边门控机制，融合图像区域特征、图像全局特征和问题特征；最后通过分类网络进行答案预测。