[发明专利]一种视觉问答的方法、装置及介质

权利要求书

1.一种视觉问答方法，其特征在于，包括：

获取视觉问答任务对应的目标文字和目标图像，并将所述目标文字与所述目标图像分别转换为文字数据和图像数据；

将所述文字数据和所述图像数据前分别加入CLS Token标志，以便于聚合所述文字数据和所述图像数据所包含的信息并进行下游任务的预测；

将所述文字数据以及所述图像数据分别输入至基于Transformer的模型中以提取所述文字数据的文字特征和所述图像数据的图像特征；

将所述文字特征和所述图像特征拼接并输入至所述Transformer的模型得到融合特征；

将所述融合特征输入至分类器得到所述视觉问答任务的答案。

2.根据权利要求1所述的视觉问答方法，其特征在于，将所述文字数据输入至基于Transformer的模型中以提取所述文字数据的文字特征，包括：

将所述文字数据输入至BERT模型中以提取所述文字数据的所述文字特征，其中所述BERT模型基于所述Transformer的模型得到。

3.根据权利要求1所述的视觉问答方法，其特征在于，将所述图像数据输入至基于Transformer的模型中以提取所述图像数据的图像特征，包括：

将所述图像数据输入至ViT模型中以提取所述图像数据的所述图像特征，其中所述ViT模型基于所述Transformer的模型得到。

4.根据权利要求1所述的视觉问答方法，其特征在于，在所述将所述文字特征和所述图像特征拼接之后，在所述输入至所述Transformer的模型得到融合特征之前，还包括：

为所述文字特征和所述图像特征提供位置嵌入，以便于识别所述文字特征和所述图像特征拼接后的顺序关系。

5.根据权利要求1或4所述的视觉问答方法，其特征在于，在所述将所述文字特征和所述图像特征拼接之后，在所述输入至所述Transformer的模型得到融合特征之前，还包括：

为所述文字特征和所述图像特征提供模态嵌入，以便于区分特征来自所述文字特征还是所述图像特征。

6.据权利要求1所述的视觉问答方法，其特征在于，所述将所述融合特征输入至分类器得到所述视觉问答任务的答案，包括：

将所述融合特征输入至基于Sigmoid算法的分类器得到所述视觉问答任务的所述答案。

7.一种视觉问答装置，其特征在于，包括：

获取模块，用于获取视觉问答任务对应的目标文字和目标图像，并将所述目标文字与所述目标图像分别转换为文字数据和图像数据；

标记模块，用于将所述文字数据和所述图像数据前分别加入CLS Token标志，以便于聚合所述文字数据和所述图像数据所包含的信息并进行下游任务的预测；

提取模块，用于将所述文字数据以及所述图像数据分别输入至基于Transformer的模型中以提取所述文字数据的文字特征和所述图像数据的图像特征；

融合模块，用于将所述文字特征和所述图像特征拼接并输入至所述Transformer的模型得到融合特征；

分类模块，用于将所述融合特征输入至分类器得到所述视觉问答任务的答案。

8.一种视觉问答装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任意一项所述的视觉问答方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任意一项所述的视觉问答方法的步骤。