[发明专利]一种单模态图像哈希检索方法

权利要求书

1.一种单模态图像哈希检索方法，其特征在于：包括图像预处理，图像特征提取，输出注意力图像和生成哈希检索模型四部分；

首先通过定义多级语义相似关系矩阵来保持多标签数据中丰富的语义信息，同时采用Attention机制自发寻找图像中的重点关注区域，通过学习生成与图像表示大小相同的掩码，从而提取图片模态中的语义信息，辅助哈希检索模型得到更高质量的哈希函数。

2.根据权利要求1所述的单模态图像哈希检索方法，其特征在于，具体实施步骤如下：

第一步，获取训练集原始图片，将图像分别对应不同残差网络进行输入；

第二步，将训练样本输入哈希检索模型，通过最小化损失函数优化哈希检索模型参数；

第三步，固定模型，将所有样本通过哈希检索模型得到对应的哈希码，存入输入库以备使用；

第四步，使用哈希检索模型进行检索任务时，只需要将图片任意模态样本输入模型生成该模态对应哈希码，然后在另一模态的哈希码数据库中寻找海明距离最近的n个哈希码，返回与之对应的样本即可。

3.根据权利要求2所述的单模态图像哈希检索方法，其特征在于：所述第二步中，采用迭代优化的方法优化模型参数，即固定一个参数，优化另外的参数。

4.根据权利要求3所述的单模态图像哈希检索方法，其特征在于：所述第二步中，优化哈希检索模型，包括以下步骤：

(1)生成具有多级语义的相似性矩阵S；

(2)提取图片模态的特征，得到图像模态特征P_i，并对图像进行分类任务，输出注意力图像；

(3)将得到的特征图像与注意力图像进行点乘，得到图片模态的特征表示F_i和文本模态的特征表示F_j；

(4)采用损失函数对哈希检索模型进行迭代优化，最终得到优化的哈希检索模型。

5.根据权利要求4所述的单模态图像哈希检索方法，其特征在于：所述步骤(1)中，具有多级语义的相似性矩阵S表示为：

其中，|C_i|和|C_j|分别表示样本i和样本j所具有的类别数，D(i,j)表示两个样本所共有的类别数；样本i和样本j组成的的相似性矩阵S_ij∈[0,1]，从而保证生成的S矩阵具有更大的区分性。

6.根据权利要求4所述的单模态图像哈希检索方法，其特征在于：所述步骤(2)中，采用Resnet101网络进行提取，并得到图像模态特征P_i；同时采用Resnet01网络，去掉全连接层，加入平均池化层，输出为样本类别数据，对图像进行分类任务，最后一层加入Attention机制，输出为注意力图像，激活重点关注的区域。

7.根据权利要求6所述的单模态图像哈希检索方法，其特征在于：所述步骤(3)中，将的得到的特征图像与注意力图像进行点乘，并将得到的结果作为输入进入全连接层得到图片模态的特征表示F_i；将文本模态的BOW表示输入到全连接层得到文本模态的特征表示F_j。

8.根据权利要求4、5、6或7所述的单模态图像哈希检索方法，其特征在于：所述步骤(4)中，损失函数表示为：

其中，S_ij为样本i和样本j组成的的相似性矩阵，σ为超参数，用来平衡惩罚项和数据损失项，F^T_i为图片模态的特征表示的转置，F_j为文本模态的特征表示，L₂为常见的量化损失，L₃为位平衡损失。