[发明专利]基于判别性关联最大化哈希的跨模态检索方法

摘要

本发明提出了一种基于判别性关联最大化哈希的跨模态检索方法，包括：对训练数据集进行多模态提取，得到训练多模态数据集；对于训练多模态数据集，构造该数据集上的基于判别性关联最大化哈希的目标函数；求解所述目标函数，得到图像、文本的投影到公用的海明空间的投影矩阵、图像文本对的联合哈希码；对于测试数据集，投影到所述公用的海明空间，并通过哈希函数量化为训练集样本的哈希码；基于哈希码进行跨模态检索。本发明提高了跨媒体检索的效率和准确度。

主权项

1.一种基于判别性关联最大化哈希的跨模态检索方法，其特征在于，包括以下步骤：步骤1：获取训练数据集，其中每个样本都包括成对的图像和文本两个模态数据；步骤2：对训练数据集进行多模态提取，得到训练多模态数据集Otrain；步骤3：对于训练多模态数据集Otrain，构造该数据集上的基于判别性关联最大化哈希的目标函数；步骤4：求解所述目标函数，得到图像、文本的投影到公用的海明空间的投影矩阵W1和W2、图像文本对的哈希码B；步骤5：获取测试数据集，并对其进行多模态提取，得到测试多模态数据集Otest；步骤6：对于测试多模态数据集Otest，根据步骤4求得的投影矩阵W1和W2，将测试数据集中每个样本的图像或文本投影到所述公用的海明空间，并通过哈希函数量化为哈希码；步骤7：进行跨模态检索，基于哈希码，在所述训练数据集中检索与测试集中待检索样本相关的另一模态的对象；所述步骤3中目标函数为：s.t.B∈{‑1,1}^L×N,W₁W₁^T＝I_k,其中，分别是图像和文本的数据特征矩阵，是标记矩阵；λ，μ₁，μ₂，β，α是平衡参数，γ是正则化参数，S_w为类内相似度矩阵，S_b为类间相似度矩阵，Q为分类器矩阵，N是样本个数，c表示类别数。