[发明专利]一种基于自适应量化多模态哈希检索方法及系统

权利要求书

1.一种基于无监督自适应量化多模态哈希检索方法，其特征在于，包括：

获取多模态检索数据，构造训练集、测试集和数据库集，每个样本均包括成对的图像和文本两个模态的数据；

将训练集中的两个模态的原始数据分别输入到预先构建的深度特征提取模型中进行多模态提取，得到提取后的多模态特征；

根据训练集的多模态特征，构造训练集的基于无监督自适应量化多模态哈希检索的目标函数；

采用迭代求解算法求解上述目标函数，得到训练集的基矩阵和码本；

构造并利用在线权重自适应量化哈希的目标函数，根据得到的训练集的基矩阵和码本，获取测试集和数据库集中样本的哈希码，计算测试集中每个测试集样本的哈希码与数据库集样本的哈希码之间的汉明距离，数据库集样本按其对应的汉明距离升序排序，得到检索结果；

所述基于无监督自适应量化多模态哈希检索的目标函数，具体为：

s.t.(R^l)^TR^l＝I_D×D,p∈Δ_L,||b_mn||₀＝1,b_mn∈{-1,1}^K

其中，X^l是第l模态的特征矩阵；R^l是转换矩阵，H^l是第l模态的基矩阵；C＝[C₁,...,C_M]为由M个独立的码本组成的码本矩阵；其中每一个码本包含K个码字，分别对应于训练集中K个原型；||b_mn||₀＝1保证每个码本只能激活一个码字来近似输入数据，||·||₀＝1计算向量的非零元素的数目，D是转换矩阵R^l的特征维度，N是样本个数，n为第n个样本，B是哈希码，L是语义标签矩阵，m是第m个码本；

所述在线权重自适应量化哈希的目标函数为：

s.t.||b_qmn||₀＝1,b_qmn∈{-1,1}^K

其中，n_q是查询样本的数量；B_q是查询样本的哈希码矩阵；是每个模态的自适应权重；是查询样本的第l模态的特征矩阵；是第l模态的基矩阵；||b_qmn||₀＝1保证查询样本每个码本只能激活一个码字来近似输入数据。

2.如权利要求1所述的基于无监督自适应量化多模态哈希检索方法，其特征在于，对于图像模态，将其输入到VGG-16网络模型中，提取多维的图像特征；对于文本模态，将标签利用词袋模型提取多维的文本特征。

3.如权利要求1所述的基于无监督自适应量化多模态哈希检索方法，其特征在于，将异构模态的X^l转换为具有投影一致性的多模态因子H^l；

利用M个码本近似H^l，将同构潜在特征转换为紧凑的二进制码；

利用显式的样本间语义标签增强哈希码的识别能力。

4.如权利要求1所述的基于无监督自适应量化多模态哈希检索方法，其特征在于，计算每个测试样本的哈希码与数据库集样本的哈希码之间的汉明距离，具体为：给定一个测试样本，计算该测试样本的哈希码跟数据库集中的所有样本的哈希码之间汉明距离，然后数据库集样本按照汉明距离排序，跟测试样本距离小的排在前面，距离大的排在后面，从而验证准确度。