[发明专利]一种基于特征融合哈希算法的多模态检索方法

摘要

本发明提出了一种基于特征融合哈希算法的多模态检索方法，其步骤为：首先，获取多模态训练集，并分别提取每个模态的特征；再通过PCA分别计算每个模态的特征的低维特定模态特征；其次，通过稀疏投影学习各个模态的特征的联合特征；并分别计算低维特定模态特征和联合特征的正交旋转矩阵和融合系数；然后，根据正交旋转矩阵和融合系数计算查询样本的哈希码；最后，计算查询样本的哈希码与数据库实例间的哈希码的汉明距离，并将汉明距离小于阈值的数据作为检索结果。本发明能够挖掘多模态数据信息之间共享的语义信息和特定模态内结构信息，以学习判别性的哈希码；在无因松弛而产生较大的量化误差的情况下，有效地解决了离散优化问题。