[发明专利]一种视觉问答模型训练方法及装置

说明书

本申请提供一种视觉问答模型训练方法及装置，涉及计算机技术领域。其中，一种视觉问答模型训练方法，包括：获取训练样本和样本标签；提取样本图像特征信息和样本问题特征信息；将所述样本图像特征信息和所述样本问题特征信息进行特征交叉处理，得到携带有样本问题信息的样本图像特征向量和携带有样本图像信息的样本问题特征向量；将所述携带有样本问题信息的样本图像特征向量和所述携带有样本图像信息的样本问题特征向量输入至所述视觉问答模型中通过所述视觉问答模型得到预测答案；基于所述真实答案和所述预测答案确定损失函数的损失值；通过所述损失函数的损失值对所述视觉问答模型进行更新。

技术领域

本申请涉及计算机技术领域，特别涉及一种视觉问答模型训练方法及装置，计算设备及计算机可读存储介质。

背景技术

视觉问答(Visual Question Answering，VQA)是一种涉及计算机视觉和自然语言处理的综合性任务，一个VQA系统以一张图片和一个关于这张图片形式自由、开放式的自然语言问题作为输入，以生成一条自然语言答案作为输出。

目前，现有的视觉问答模型训练方法一般先通过一个预训练好的深度卷积神经网络模型(CNN)抽取出要回答的图像特征，将问题转化为若干词向量，然后将图像特征和转化为词向量的问题词一起输入至长短期记忆网络(LSTM)中，利用LSTM网络产生答案，并不断进行迭代训练，直至产生结束符为止。此种模型的训练过程是结合图像特征的LSTM网络的训练以及词向量的生成器的训练。

但是，现有的视觉问答模型训练方法对图像特征及问题特征的提取及处理过于单一，没有考虑图像区域间的空间语义上下文信息，且目前视觉问答VQA的问题数据集有限，模型普遍为过拟合状态，影响得到的答案与真实答案之间的语义上下文相近程度。

发明内容

有鉴于此，本申请实施例提供了一种视觉问答模型训练方法及装置，计算设备及计算机可读存储介质，以解决现有技术中存在的技术缺陷。

本申请实施例公开了一种视觉问答模型训练方法，包括：

获取训练样本和样本标签，所述训练样本包括样本图像和样本问题，所述样本标签包括与所述样本图像和所述样本问题对应的真实答案；

对所述样本图像和所述样本问题分别进行特征提取，得到样本图像特征信息和样本问题特征信息；

将所述样本图像特征信息和所述样本问题特征信息进行特征交叉处理，得到携带有样本问题信息的样本图像特征向量和携带有样本图像信息的样本问题特征向量；

将所述携带有样本问题信息的样本图像特征向量和所述携带有样本图像信息的样本问题特征向量输入至视觉问答模型中通过所述视觉问答模型得到预测答案；

基于所述真实答案和所述预测答案确定损失函数的损失值；

通过所述损失函数的损失值对所述视觉问答模型进行更新。

进一步地，所述对所述样本图像和所述样本问题分别进行特征提取，得到样本图像特征信息和样本问题特征信息，包括：

提取所述样本图像中的特征，并将提取到的样本图像特征池化处理达到目标维度，得到所述样本图像特征信息；

对所述样本问题进行编码，并提取编码后的所述样本问题中的特征，得到所述样本问题特征信息。

进一步地，所述将所述样本图像特征信息和所述样本问题特征信息进行特征交叉处理，得到携带有样本问题信息的样本图像特征向量和携带有样本图像信息的样本问题特征向量，包括：

将所述样本图像特征信息转换为样本图像特征矩阵，将所述样本问题特征信息转换为样本问题特征矩阵；

基于所述样本图像特征矩阵和所述样本问题特征矩阵，得到交叉特征矩阵；