[发明专利]一种鲁棒离散监督跨媒体哈希检索方法

权利要求书

1.一种鲁棒离散监督跨媒体哈希检索方法，其特征在于，该方法包括如下步骤：

第一步：搜集含有类标签的图像和文本样本对，构成图像、文本一一对应的跨模态检索的图文数据集；

第二步：分别对图像和文本模态样本提取特征，并分别对图像和文本模态样本的特征去均值，使两个模态样本的特征数据均值为0；

第三步：将数据集中的所有样本对随机划分为训练集和测试集；

第四步：利用训练集中样本对的类标签、图像和文本模态的样本特征分别构造两两样本间相似度矩阵，并利用两两样本间相似度矩阵的低秩特性和噪声样本的稀疏特性，学习一个鲁棒的两两样本间相似度矩阵；训练样本对的特征设为X，X＝{X⁽¹⁾，X⁽²⁾}，其中X⁽¹⁾表示训练集中图像模态的样本特征，X⁽²⁾表示训练集中文本模态的样本特征，其中d₁和d₂分别表示图像和文本模态样本特征的维度，N表示训练集中图像或文本模态样本数量，样本对的类标签用L表示，c表示样本类别的数量，l_i∈{0，1}^c，如果l_ij＝1，表示第i个样本属于第j类；反之，如果l_ij＝0，表示第i个样本不属于第j类；学习鲁棒两两样本间相似度矩阵的目标函数包括以下步骤：

(1)利用图像模态的样本特征计算基于图像模态特征的两两样本间的相似度矩阵，定义如下：

其中||·||_F表示Frobenius范数，S⁽¹⁾表示图像模态的两两样本间相似度矩阵，表示第i个图像样本和第j个图像样本的相似度，σ₁为尺度参数；

(2)利用文本模态的样本特征计算基于文本模态特征的两两样本间相似度矩阵，定义如下：

其中S⁽²⁾表示文本模态的两两样本间相似度矩阵，表示第i个文本样本和第j个文本样本的相似度，σ₂为尺度参数；

(3)利用样本对的类标签计算基于类标签的两两样本间相似度矩阵，定义如下：

其中S⁽³⁾表示样本对标签的两两相似度矩阵，表示第i个样本对标签和第j个样本对标签的相似度；

(4)学习鲁棒两两样本间相似度矩阵的目标函数定义如下：

s.t.S⁽ⁱ⁾＝S+||E⁽ⁱ⁾||₀

其中S表示学习的鲁棒样本间两两相似度矩阵，E⁽ⁱ⁾表示第i个两两相似度矩阵中的噪声，rank(·)表示矩阵的秩，||·||₀表示l₀范数；

(5)上述(4)中的目标函数存在离散低秩和l₀范数的约束，上式可改写为

s.t.S⁽ⁱ⁾＝S+||E⁽ⁱ⁾||₁

其中||·||_*表示核范数，||·||₁表示l₁范数，

(6)利用増广拉格朗日乘子法求解这个问题，得到鲁棒两两样本间相似度矩阵；

第五步：构造目标函数，具体包括以下步骤：

(1)在汉明空间保持基于鲁棒两两样本间相似度矩阵的相似性，哈希码学习的目标函数定义如下：

其中k表示哈希码的长度，B₁为图像模态样本的哈希码，B₂为文本模态样本的哈希码，λ为权重参数；

(2)利用线性映射作为哈希函数，并利用l_2，1范数作为正则项约束图像和文本模态哈希函数的学习，各模态哈希函数学习的目标函数定义如下：

其中W₁，W₂分别表示图像模态和文本模态的哈希函数，Reg(·)表示正则项防止过拟合，在这里β_i和μ为权重参数；

(3)将哈希码和哈希函数学习的目标函数相加即为本方法的目标函数，定义如下：

其中β_i为权重参数；

第六步：目标函数利用迭代优化算法求解，求解过程包括以下步骤：

(1)固定W₁，W₂和B₂，求解B₁：

去除常数项，目标函数可写为：

在此可以逐样本求解，令b_1i表示B₁的第i列，b_2j表示B₂的第j列，去除常数项目标函数可写为：

在此采用循环坐标梯度下降法逐比特求解，设b_1im表示b_1i的第m比特，表示b_1i除了第m比特外的其他比特构成的向量，则b_1im可由下式得到：

重复上式直至求解完所有图像模态样本的哈希码；

(2)固定W₁，W₂和B₁，求解B₂：

与求解B₁方法相同，可得

重复上式直至求解完所有文本模态样本的哈希码；

(3)固定W₂，B₁和B₂，求解W₁：

去除常数项，目标函数可写为：

这个问题存在闭合解

其中D₁为对角阵，

(4)固定W₁，B₁和B₂，求解W₂：

与求解W₁方法相同，W₂存在闭合解

其中D₂为对角阵，

(5)重复执行(1)-(4)至算法收敛或达到最大迭代次数；

第七步：用户输入查询样本，提取其特征，并对提取的特征去均值；

第八步：利用已学习的哈希函数生成查询样本的哈希码：

第九步：计算查询样本与训练集中异构样本的汉明距离，并对汉明距离按升序排列，前r个汉明距离对应的样本即为检索结果。