[发明专利]基于图片的问答处理方法、装置、可读介质及电子设备

权利要求书

1.一种基于图片的问答处理方法，其特征在于，所述方法包括：

获取目标图片以及所述目标图片对应的问题语句；

对所述目标图片进行特征提取，得到所述目标图片的第一图像特征，并对所述问题语句进行特征提取，得到所述问题语句的第一文本特征；

基于所述第一文本特征的注意力机制，生成所述第一文本特征对应的第二文本特征，并基于所述第二文本特征的注意力机制，生成所述第一图像特征对应的第二图像特征；

将所述第二文本特征和所述第二图像特征进行特征合并，得到联合特征，并根据所述联合特征，生成所述问题语句的答案。

2.根据权利要求1所述的方法，其特征在于，基于所述第一文本特征的注意力机制，生成所述第一文本特征对应的第二文本特征，包括：

利用多个分配权重分别对所述第一文本特征进行线性变换，得到多个第一特征矩阵，其中，一个第一特征矩阵对应于一个所述分配权重；

基于各个第一特征矩阵的注意力机制，生成所述各个第一特征矩阵对应的第二特征矩阵，以得到多个第二特征矩阵；

将所述多个第二特征矩阵进行拼接，得到拼接后的特征矩阵，并将所述拼接后的特征矩阵映射为与所述第一文本特征相同的维度，得到所述第一文本特征对应的第二文本特征。

3.根据权利要求2所述的方法，其特征在于，基于各个第一特征矩阵的注意力机制，生成所述各个第一特征矩阵对应的第二特征矩阵，包括：

对所述各个第一特征矩阵与所述各个第一特征矩阵的转置矩阵进行相似度计算，得到所述各个第一特征矩阵对应所述转置矩阵的注意力权重因子；

将所述注意力权重因子进行归一化处理，得到对应的注意力权重；

利用所述注意力权重对所述各个第一特征矩阵中包含的特征点进行加权求和计算，得到所述各个第一特征矩阵对应的第二特征矩阵。

4.根据权利要求1所述的方法，其特征在于，基于所述第二文本特征的注意力机制，生成所述第一图像特征对应的第二图像特征，包括：

利用多个分配权重分别对所述第二文本特征和所述第一图像特征进行线性变换，得到多个第三特征矩阵和多个第四特征矩阵，其中，一个所述分配权重对应于一个第三特征矩阵和一个第四特征矩阵；

基于各个第三特征矩阵的注意力机制，生成与所述各个第三特征矩阵相关联的第四特征矩阵所对应的第五特征矩阵，以得到多个第五特征矩阵，其中，与所述各个第三特征矩阵相关联的第四特征矩阵是与所述各个第三特征矩阵对应的分配权重相同的第四特征矩阵；

将所述多个第五特征矩阵进行拼接，得到拼接后的特征矩阵，并将所述拼接后的特征矩阵映射为与所述第一图像特征相同的维度，得到所述第一图像特征对应的第二图像特征。

5.根据权利要求4所述的方法，其特征在于，基于各个第三特征矩阵的注意力机制，生成与所述各个第三特征矩阵相关联的第四特征矩阵所对应的第五特征矩阵，包括：

对所述各个第三特征矩阵以及所述相关联的第四特征矩阵的转置矩阵进行相似度计算，得到所述各个第三特征矩阵对应所述转置矩阵的注意力权重因子；

将所述注意力权重因子进行归一化处理，得到对应的注意力权重；

利用所述注意力权重对所述相关联的第四特征矩阵中包含的特征点进行加权求和计算，得到与所述各个第三特征矩阵相关联的第四特征矩阵所对应的第五特征矩阵。

6.根据权利要求1-5任一项所述的方法，其特征在于，根据所述联合特征，生成所述问题语句的答案，包括：

将所述联合特征输入分类模型，所述分类模型是根据联合损失函数训练得到的，所述联合损失函数是根据所述分类模型的输出结果与期望输出结果之间的损失值，以及样本图片中的目标区域对应的注意力权重构建得到的，所述目标区域是根据所述样本图片对应的样本问题在所述样本图片中确定出的区域；

获取所述分类模型输出的所述问题语句针对各个答案的预测概率，并根据所述预测概率，确定所述问题语句的答案。