[发明专利]一种基于多模态融合的视觉问答融合增强方法

摘要

本发明公开了一种基于多模态融合的视觉问答融合增强方法。本发明步骤如下：1、利用GRU结构构建时序模型，获得问题的特征表示学习、利用从Faster R‑CNN抽取的基于自底向上的注意力模型的输出作为图像的特征表示；2、基于注意力模型Transformer进行多模态推理，引入注意力模型对图片‑问题‑答案这个三元组进行多模态融合，建立推理关系；3、针对不同的隐含关系有不同的推理过程和结果输出，再根据这些结果输出来进行标签分布回归学习，来确定答案。本发明基于特定的图片和问题得到答案直接应用于服务于盲人的应用中，能够帮助盲人或者视觉障碍者更好地感知周围环境，也应用于图片检索系统，提高图片检索的准确性和多样性。

主权项

1.一种基于多模态融合的视觉问答融合增强方法，其特征在于包括以下步骤：步骤1、利用GRU结构构建时序模型，获得问题的特征表示学习、利用从Faster R‑CNN抽取的基于自底向上的注意力模型的输出作为图像的特征表示，具体将句子中的每个单词都按照顺序时刻依次输入到GRU模型中，句子的最后一个单词的GRU输出表示整个句子；步骤2、基于注意力模型Transformer进行多模态推理，同时引入注意力模型对图片‑问题‑答案这个三元组进行多模态融合，从而建立推理关系；步骤3、由于多种不同的图像‑问句‑答案隐含关系被涵盖，且针对不同的隐含关系有不同的推理过程和结果输出，利用标签分布学习和KL散度损失函数和softmax回归方法来拟合真实答案分布情况。