[发明专利]一种视觉问答方法、装置及电子设备和存储介质

说明书

本申请公开了一种视觉问答方法、装置及电子设备和存储介质，涉及视觉问答技术领域，该方法包括：对训练样本中的描述文本进行重写，生成正样本和负样本；利用对象属性检测模型和BERT模型提取正、负样本的多模态的图文模态信息；对象属性检测模型为基于多尺度可变形注意力模块搭建的双阶段Deformable DETR模型；检索训练样本中的图像的相似图像，提取相似图像的多模态的图像特征信息作为图像模态信息；检索训练样本中的描述文本的相似文本，提取相似文本的文本特征信息作为文本模态信息；基于正、负样本的图文模态信息、图像模态信息和文本模态信息训练视觉问答模型，以执行视觉问答任务，提高了视觉问答模型的性能。

技术领域

本申请涉及视觉问答技术领域，更具体地说，涉及一种视觉问答方法、装置及一种电子设备和一种计算机可读存储介质。

背景技术

人类认识世界是多维的，如用眼睛去观察，是双耳去聆听，用触觉与嗅觉去感知等,大脑基于这些信息分析、理解并认识世界。人工智能核心目标是赋予计算机以智能，让机器像人一样去认识世界。通常的视觉语言模型在基于BERT（Bidirectional EncoderRepresentation from Transformers，一个预训练的语言表征模型）的语言模型处理语言文本中添加视觉特征相关信息，经由Transformer将不同模态映射到同一语义空间中，然后基于语义空间中信息进一步处理。当前视觉特征绝大多数选择骨干网络为ResNet-101C4（采用101层的深度残差网络）的Faster-RCNN（Fast Region-based ConvolutionalNetwork，快速的基于区域的卷积神经网络）模型，并基于VG（Visual Genome）数据集进行训练，然而数据集与目标检测模型本身局限性，影响到最终多模态相关任务性能。VG数据虽具有丰富的对象标记以及属性标签，但针对视觉语言任务来讲，仍无法满足数据丰富性与多样性。

以Faster-RCNN为例，首先骨干网络提取整幅图像特征，接着生成大概20万个初始框，通过NMS（非极大值抑制（Non-Maximum Suppression）等策略过滤后产生候选框，随后基于RoI pooling（感兴趣区域池化，Region of interest pooling）等技术进一步确定目标的位置与对应类别，另外算法需要手动设置anchors（锚）、NMS等参数，由此可见并非是端到端的训练。DETR（DEtection Transformer）是将NLP（Natural Language Processing，自然语言处理）中的transformer技术引入到目标检测中，将目标检测认为是集合的预测，是第一个真正意义上端到端训练，首先ResNet骨干网络提取整幅图像特征，随后特征图并加入位置信息，送入到transformer中，最后FFN（feed forward network）输出检测结果。由于transformer在处理过程中，会推理当前位置与整幅图像关系，处理的复杂度正比于特征图尺寸，因此导致收敛速度慢和小目标检测差，针对此问题，Deformable-DETR（基于稀疏空间采样的注意力机制）提出了新的解决方案，用multi-scale deformable attention替换transformer attention，将之前关注整幅图缩减到参考点周围点，大大降低了计算复杂度，加快了收敛速度，同时提高了检测性能，尤其是针对小目标的检测。

目前现有的预训练模型在NLP单模态领域表现都比较好，而将其利用迁移学习到多模态领域时，表现就差强人意。在多模态领域中，UNIMO应运而生，在训练时使用大量文本语料和图像集，以及采用跨模态对比学习策略，大大提升了视觉和文本理解能力，因此能够有效的同时进行单模态与多模态的内容理解和生成任务。UNIMO虽能够有效的同时适配单模态与多模态的内容理解和生成任务，但仍采用基于Faster-RCNN模型预提取视觉特征和基于TF-IDF（Term Frequency-Inverse Document Frequency，词频-逆文档频率）特征的图像检索，一定程度上影响了模型的性能。

因此，如何提高视觉问答模型的性能是本领域技术人员需要解决的技术问题。

发明内容