[发明专利]视觉问答模型训练、视觉问答方法和装置

说明书

本申请涉及一种视觉问答模型训练、视觉问答方法和装置。所述方法包括：获取用于训练视觉问答模型的图片样本和问题样本；对所述图片样本进行特征提取，得到图片样本特征，以及对所述问题样本进行特征提取，得到问题样本特征；确定所述图片样本特征与所述问题样本特征之间的关系隐变量；所述关系隐变量用于表征所述图片样本和所述问题样本是否相关；根据所述关系隐变量、所述图片样本特征和所述问题样本特征，对视觉问答模型进行训练，得到目标视觉问答模型；所述目标视觉问答模型用于进行视觉问答。采用本方法能够在回答模糊问题时仍然给出准确率较高的答案。

技术领域

本申请涉及人工智能技术领域，特别是涉及一种视觉问答模型训练、视觉问答方法、装置、计算机设备和存储介质。

背景技术

视觉问答(Visual Question Answer，VQA)即针对给定的图片及其相关的用自然语言描述的问题，生成问题的答案。

目前的视觉问答是通过视觉问答模型对图片和问题进行识别来实现的。在构建视觉问答模型时，通常基于神经网络从若干个训练样本中提取图片特征和问题特征，并将图片特征和问题特征进行融合，针对融合后的特征进行训练。当进行视觉问答时，将图片和问题输入训练好的视觉问答模型，通过视觉问答模型从若干候选答案中筛选出正确答案。

然而，上述视觉问答模型通常只能处理语言描述清楚的问题，对于一些诸如“上述问题如何解决”的模糊问题，生成的答案准确率较低。

因此，目前的视觉问答模型存在生成的答案准确率较低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高答案准确率的视觉问答模型训练、视觉问答方法、装置、计算机设备和存储介质。

一种视觉问答模型训练方法，所述方法包括：

获取用于训练视觉问答模型的图片样本和问题样本；

对所述图片样本进行特征提取，得到图片样本特征，以及对所述问题样本进行特征提取，得到问题样本特征；

确定所述图片样本特征与所述问题样本特征之间的关系隐变量；所述关系隐变量用于表征所述图片样本和所述问题样本是否相关；

根据所述关系隐变量、所述图片样本特征和所述问题样本特征，对视觉问答模型进行训练，得到目标视觉问答模型；所述目标视觉问答模型用于进行视觉问答。

在其中一个实施例中，所述确定所述图片样本特征与所述问题样本特征之间的关系隐变量，包括：

根据所述图片样本特征生成图片样本节点，以及根据所述问题样本特征生成问题样本节点；

根据所述图片样本节点和所述问题样本节点生成关系图；所述关系图包括多个节点和多条节点关系边；所述节点包括所述图片样本节点和所述问题样本节点；所述节点关系边用于记录所述节点之间的关系；

将所述关系图输入至注意力引导图卷积网络模型，得到关系矩阵；

根据所述关系矩阵，得到所述图片样本特征和所述问题样本特征之间的关系隐变量。

在其中一个实施例中，所述根据所述关系矩阵，得到所述图片样本特征和所述问题样本特征之间的关系隐变量，包括：

根据所述关系矩阵，得到所述问题样本对于所述图片样本的第一权重和所述图片样本对于所述问题样本的第二权重；所述第一权重用于表征所述问题样本对于所述图片样本的注意力程度，所述第二权重用于表征所述图片样本对于所述问题样本的注意力程度；

根据所述第一权重更新所述图片样本特征，得到更新后图片样本特征，以及根据所述第二权重更新所述问题样本特征，得到更新后问题样本特征；

对所述更新后图片样本特征和所述更新后问题样本特征进行拼接，得到第一拼接向量；