[发明专利]一种基于模态联合交互的图像问答方法

摘要

本发明公开了一种基于模态联合交互的图像问答方法，其包括以下步骤：对图像和问题进行预处理得到对应的图像特征向量和问题高层特征向量；构建图像问答网络并得到模态内单元注意力特征和模态间单元注意力特征；通过模态双向联合交互和残差堆叠式的深度融合对模态内单元注意力特征以及模态间交互注意力特征进行深度融合，得到隐藏层的输出图像特征和输出问题特征；对最后一个隐藏层输出图像特征和输出问题特征进行特征合并得到最终特征；将最终特征通过线性变换映射到多类别向量中进行答案预测。本发明可实现图像和问题特征之间的双向引导，提升模型交互能力；增强跨模态语义空间的信息共享；增强了模型的多模态交互能力；提升了答案分类的效果。