[发明专利]一种鲁棒离散监督跨媒体哈希检索方法

摘要

本发明公开了一种鲁棒离散监督跨媒体哈希检索方法，通过学习一个鲁棒的两两样本间相似度矩阵挖掘异构样本间的语义关联，利用该方法可实现基于内容的跨媒体检索，该方法包括以下步骤：建立图像和文本数据集，并对数据集中的图像和文本样本分别提取视觉和文本特征；利用样本的类标签、图像和文本特征分别构建两两样本间相似度矩阵，并利用两两样本间相似度矩阵的低秩和样本噪声的稀疏特性学习一个鲁棒的两两样本间相似度矩阵；进而利用该鲁棒两两样本间相似度矩阵学习区分性更好的哈希码；对哈希函数施加范数正则项约束，以学习更为鲁棒的哈希函数；提出一种离散迭代优化算法，直接得到哈希码的离散解；本发明方法的学习一个鲁棒两两样本间相似度矩阵可以有效的抵抗样本中可能存在的噪声，从而大幅提高多媒体检索的性能。

主权项

1.一种鲁棒离散监督跨媒体哈希检索方法，其特征在于，该方法包括如下步骤：第一步：搜集含有类标签的图像和文本样本对，构成图像、文本一一对应的跨模态检索的图文数据集；第二步：分别对图像和文本模态样本提取特征，并分别对图像和文本模态样本的特征去均值，使两个模态样本的特征数据均值为0；第三步：将数据集中的所有样本对随机划分为训练集和测试集；第四步：利用训练集中样本对的类标签、图像和文本模态的样本特征分别构造两两样本间相似度矩阵，并利用两两样本间相似度矩阵的低秩特性和噪声样本的稀疏特性，学习一个鲁棒的两两样本间相似度矩阵；训练样本对的特征设为X，X＝{X⁽¹⁾，X⁽²⁾}，其中X⁽¹⁾表示训练集中图像模态的样本特征，X⁽²⁾表示训练集中文本模态的样本特征，其中d₁和d₂分别表示图像和文本模态样本特征的维度，N表示训练集中图像或文本模态样本数量，样本对的类标签用L表示，c表示样本类别的数量，l_i∈{0，1}^c，如果l_ij＝1，表示第i个样本属于第j类；反之，如果l_ij＝0，表示第i个样本不属于第j类；学习鲁棒两两样本间相似度矩阵的目标函数包括以下步骤：(1)利用图像模态的样本特征计算基于图像模态特征的两两样本间的相似度矩阵，定义如下：其中||·||_F表示Frobenius范数，S⁽¹⁾表示图像模态的两两样本间相似度矩阵，表示第i个图像样本和第j个图像样本的相似度，σ₁为尺度参数；(2)利用文本模态的样本特征计算基于文本模态特征的两两样本间相似度矩阵，定义如下：其中S⁽²⁾表示文本模态的两两样本间相似度矩阵，表示第i个文本样本和第j个文本样本的相似度，σ₂为尺度参数；(3)利用样本对的类标签计算基于类标签的两两样本间相似度矩阵，定义如下：其中S⁽³⁾表示样本对标签的两两相似度矩阵，表示第i个样本对标签和第j个样本对标签的相似度；(4)学习鲁棒两两样本间相似度矩阵的目标函数定义如下：s.t.S⁽ⁱ⁾＝S+||E⁽ⁱ⁾||₀其中S表示学习的鲁棒样本间两两相似度矩阵，E⁽ⁱ⁾表示第i个两两相似度矩阵中的噪声，rank(·)表示矩阵的秩，||·||₀表示l₀范数；(5)上述(4)中的目标函数存在离散低秩和l₀范数的约束，上式可改写为s.t.S⁽ⁱ⁾＝S+||E⁽ⁱ⁾||₁其中||·||_*表示核范数，||·||₁表示l₁范数，(6)利用増广拉格朗日乘子法求解这个问题，得到鲁棒两两样本间相似度矩阵；第五步：构造目标函数，具体包括以下步骤：(1)在汉明空间保持基于鲁棒两两样本间相似度矩阵的相似性，哈希码学习的目标函数定义如下：其中k表示哈希码的长度，B₁为图像模态样本的哈希码，B₂为文本模态样本的哈希码，λ为权重参数；(2)利用线性映射作为哈希函数，并利用l_2，1范数作为正则项约束图像和文本模态哈希函数的学习，各模态哈希函数学习的目标函数定义如下：其中W₁，W₂分别表示图像模态和文本模态的哈希函数，Reg(·)表示正则项防止过拟合，在这里β_i和μ为权重参数；(3)将哈希码和哈希函数学习的目标函数相加即为本方法的目标函数，定义如下：其中β_i为权重参数；第六步：目标函数利用迭代优化算法求解，求解过程包括以下步骤：(1)固定W₁，W₂和B₂，求解B₁：去除常数项，目标函数可写为：在此可以逐样本求解，令b_1i表示B₁的第i列，b_2j表示B₂的第j列，去除常数项目标函数可写为：在此采用循环坐标梯度下降法逐比特求解，设b_1im表示b_1i的第m比特，表示b_1i除了第m比特外的其他比特构成的向量，则b_1im可由下式得到：重复上式直至求解完所有图像模态样本的哈希码；(2)固定W₁，W₂和B₁，求解B₂：与求解B₁类似，可得重复上式直至求解完所有文本模态样本的哈希码；(3)固定W₂，B₁和B₂，求解W₁：去除常数项，目标函数可写为：这个问题存在闭合解其中D₁为对角阵，(4)固定W₁，B₁和B₂，求解W₂：与求解W₁类似，W₂存在闭合解其中D₂为对角阵，(5)重复执行(1)‑(4)至算法收敛或达到最大迭代次数；第七步：用户输入查询样本，提取其特征，并对提取的特征去均值；第八步：利用已学习的哈希函数生成查询样本的哈希码：第九步：计算查询样本与目标(训练)集中异构样本的汉明距离，并对汉明距离按升序排列，前r个汉明距离对应的样本即为检索结果。