[发明专利]面向无约束视觉问答指向问题的检索方法及系统

权利要求书

1.一种面向无约束视觉问答指向问题的检索方法，其特征在于，

利用似物性采样的方法从输入图像中生成多个候选区域作为候选答案，利用所述候选答案通过视觉特征提取网络提取所述候选答案的视觉特征；

基于文本特征提取网络提取输入问句的文本特征；

使用文本映射矩阵W_T将所述文本特征转化至共同特征空间，使用视觉映射矩阵W_I将所述视觉特征转化至共同特征空间，计算共同特征空间内文本特征与每个视觉特征的余弦相似度，并将与文本特征的余弦相似度最大的视觉特征所对应的候选答案作为正确答案，输出所述正确答案；

其中，

所述视觉特征提取网络基于卷积神经网络构建，用以提取所述候选答案的视觉特征；

所述文本特征提取网络基于循环神经网络构建，用以提取输入问句的文本特征。

2.根据权利要求1所述的面向无约束视觉问答指向问题的检索方法，其特征在于，基于成对的排序损失函数迭代训练所述检索方法，以更新文本特征提取网络和文本映射矩阵W_T和视觉映射矩阵W_I的权重，且

在迭代训练过程中不改变视觉特征提取网络的权重；

其中，所述成对的排序损失函数为：

公式中，x为共同特征空间中问句的文本特征，v为共同特征空间中候选答案的视觉特征，α为正负样本对之间的最小间隔常数，S为余弦相似度函数，v_k为问句x的不一致答案，x_k为候选答案v的不一致问句，不一致项选自同一个batch中的项。

3.根据权利要求1所述的面向无约束视觉问答指向问题的检索方法，其特征在于，基于反向传播算法和成对的排序损失函数迭代训练所述检索方法，以更新文本特征提取网络和文本映射矩阵W_T和视觉映射矩阵W_I的权重，且

在迭代训练过程中不改变视觉特征提取网络的权重；

其中，所述成对的排序损失函数为：

公式中，x为共同特征空间中问句的文本特征，v为共同特征空间中候选答案的视觉特征，α为正负样本对之间的最小间隔常数，S为余弦相似度函数，v_k为问句x的不一致答案，x_k为候选答案v的不一致问句，不一致项选自同一个batch中的项。

4.根据权利要求2或3所述的面向无约束视觉问答指向问题的检索方法，其特征在于，所述视觉特征提取网络基于权重共享策略提取候选答案的视觉特征。

5.根据权利要求2所述的面向无约束视觉问答指向问题的检索方法，其特征在于，所述基于成对的排序损失函数迭代训练，其训练方法为：

步骤S1：使用文本特征提取网络提取输入问句的文本特征；

步骤S2：使用视觉特征提取网络提取候选答案的视觉特征；

步骤S3：使用文本映射矩阵W_T将所述文本特征转化到共同特征空间，使用视觉映射矩阵W_I将所述视觉特征映射到共同特征空间；

步骤S4：基于mini-batch法利用共同特征空间中的文本特征和视觉特征构建正样本对和负样本对；

步骤S5：计算每个样本对的余弦相似度；

步骤S6：基于成对的排序损失函数更新文本特征提取网络和文本映射矩阵W_T和视觉映射矩阵W_I的权重；

步骤S7：重复步骤S1-S6，直到达到最大的遍历正负样本对的迭代次数；

其中，所述正样本对由输入问句的文本特征和输入问句对应正确答案的视觉特征构成；

所述负样本对由输入问句的文本特征与同一batch中其它问句所对应正确答案的视觉特征构成；

其中，所述成对的排序损失函数为：

公式中，x为共同特征空间中问句的文本特征，v为共同特征空间中候选答案的视觉特征，α为正负样本对之间的最小间隔常数，S为余弦相似度函数，v_k为问句x的不一致答案，x_k为候选答案v的不一致问句，不一致项选自同一个batch中的项。