[发明专利]一种基于深度显著性的遥感影像快速检索方法

摘要

一种基于深度显著性的遥感影像快速检索方法属于计算机视觉领域，具体涉及深度学习、显著性目标检测和图像检索等技术。本发明以遥感影像为研究对象，利用深度学习技术，研究了一种遥感影像的快速检索方法。首先采用全卷积神经网络构建多任务显著性目标检测模型，该模型同时进行显著性检测任务和语义分割任务，在网络预训练过程中学习遥感影像的深度显著性特征。然后改进深度网络结构，加入哈希层微调网络，学习得到遥感影像的二进制哈希码。最后综合利用显著性特征和哈希码进行相似性度量。本发明对于实现遥感影像准确、高效检索切实可行并具有重要应用价值。

主权项

一种基于深度显著性的遥感影像快速检索方法，其特征在于包括以下步骤：步骤1：基于深度显著性的目标检测模型构建输入一幅RGB图像，经过15个卷积层进行一系列卷积操作，然后进行显著性检测任务和超像素目标语义分割任务共享卷积层；前13个卷积层经过卷积神经网络VGGNet初化，卷积核大小为3×3，每个卷积层后采用修正线性单元ReLU作为激活函数；第2、4、5、13卷积层后进行最大值池化操作；第14、15卷积层的卷积核大小分别为7×7和1×1，第14、15卷积层后连接Dropout层；通过上采样构建反卷积层，通过双线性插值初始化其参数，在训练学习上采样函数中迭代更新；在显著性目标检测任务中通过sigmoid阈值函数将输出图像标准化至[0,1]，学习显著性特征；在语义分割任务中用反卷积层对最后一个卷积层的特征图进行上采样,并且将上采样的结果进行剪裁，使输出图像与输入图像大小相同；步骤2：神经网络预训练并加入哈希层微调步骤2.1：多任务显著性目标检测模型预训练FCNN预训练通过显著性检测任务和分割任务一同展开；χ表示N1幅宽高分别为W和Q的训练图像的集合，Xi为其中第i幅图像，Yijk表示第i幅宽高分别为j和k的图像相应的像素级真实分割图，其中i＝1…N1，j＝1…W，k＝1…Q；Z表示N2幅训练图像的集合，Zn为其中第n幅图像，n＝1…N2，它有相应的存在显著性目标的真实二值图像Mn；θs为共享卷积层参数，θh为分割任务参数，θf为显著性任务参数；公式(1)、公式(2)分别为分割任务的交叉熵代价函数J1(χ；θs,θh)和显著性检测任务的平方欧式距离代价函数J2(Z；θs,θf)，FCNN通过最小化两个代价函数进行训练：J2(Z;θs,θf)=1N2Σn=1N2||Mn-f(Zn;θs,θf)||F2---(2)]]>公式(1)中，是指示函数，hcjk是第c类置信分割图的元素(j,k)，c＝1…C，h(Xi；θs,θh)是语义分割函数，共返回C个目标类的置信分割图，C为预训练数据集包含的图像类别公式(2)中，f(Zn；θs,θf)是显著图输出函数，F表示F‑范数运算；接下来，用随机梯度下降SGD方法，在对所有训练样本进行正则化的基础上，最小化上述代价函数；由于用于预训练的数据集没有同时具有分割和显著性标注，因此分割任务和显著性检测任务交替进行；训练过程需要将所有原始图像大小归一化；学习速率为0.001±0.01；动量参数通常为[0.9,1.0]，权值衰减因子通常为0.0005±0.0002，；随机梯度下降学习进程共进行80000次以上迭代；详细的预训练过程如下：1)共享全卷积参数基于VGGNet初始化；2)通过正态分布随机初始化分割任务参数和显著性任务参数3)根据和利用SGD训练分割网络，更新这两个参数为和4)根据和利用SGD训练显著性网络，更新相关参数为和5)根据和利用SGD训练分割网络，获得和6)根据和利用SGD训练显著性网络，更新相关参数为和7)重复上述3‑6步三次以获得预训练最终参数θs，θh，θf；步骤2.2：加入哈希层，针对目标域微调网络在预训练好的网络倒数第二层和最终的任务层中间，插入一个包含s个神经元的全连接层，即哈希层H，将高维特征映射到低维空间，生成二进制哈希码进行存储；哈希层H权重采用随机投影构造哈希值初始化，神经元激活函数采用sigmoid函数使输出值在0到1之间，神经元个数为目标二进制码的码长；微调过程通过反向传播算法调节网络权重；网络微调为调节第十个卷积层之后的网络权重；用于微调网络的数据集数据量大小与预训练网络的数据集相比会减少10％‑50％，相比预训练的网络参数，微调过程网络参数迭代次数和学习速率降低1％‑10％，动量参数和权值衰减因子保持不变；详细的微调过程如下：1)共享全卷积参数分割任务参数和显著性任务参数通过预训练过程得到；2)根据和利用SGD训练分割网络，更新这两个参数为和3)根据和利用SGD训练显著性网络，更新相关参数为和4)根据和利用SGD训练分割网络，获得和5)根据和利用SGD训练显著性网络，更新相关参数为和6)重复上述3‑6步三次以获得最终参数θs，θh，θf；步骤3：多层次深度检索步骤3.1：粗糙检索步骤3.1.1：生成二进制哈希码将一幅待查询图像Iq输入到经过微调的神经网络，提取哈希层的输出作为图像签名，用Out(H)表示；二进制码根据阈值二值化激活值得到；对每一个二进制位r＝1…s，根据公式(3)输出二进制码：Hr=1Outr(H)≥0.50otherwise---(3)]]>其中，s是哈希层神经元个数，初始值设置范围为[40,100]；Γ＝{I1,I2,…,In}表示包含n幅图像的用于检索的数据集；相应的每幅图像的二进制码表示为ΓH＝{H1,H2,…,Hn}，其中i＝1…n，Hi∈{0,1}s表示s个神经元生成的s位二进制码值分别为0或1；步骤3.1.2：汉明距离度量相似性两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数；对于一幅待查询图像Iq和它的二进制码Hq，如果Hq和Hi∈ΓH之间的汉明距离小于设定的阈值，则定义一个包含m幅候选图片(candidates)的候选池P＝{Ic1,Ic2,…,Icm}，汉明距离小于5认为两幅图像是相似的；步骤3.2：精细检索步骤3.2.1：显著性特征提取将待查询图像Iq通过神经网络第13、15层卷积层生成的二维遥感影像特征图分别映射为一维向量进行存储；在后续检索过程中分别对比采用不同特征向量的检索结果决定最终选用哪一层卷积生成的特征图提取遥感影像显著性特征；步骤3.2.2：欧式距离度量相似性对于一幅查询图像Iq和一个候选池P，使用提取的显著性特征向量从候选池P中挑选出排名前k幅图像；Vq和分别表示查询图像q和Ici的特征向量；定义Iq和候选池P中第i幅图像相应特征向量之间的欧式距离si作为它们之间的相似性等级，如公式(4)所示；si=||Vq-ViP||---(4)]]>欧式距离越小，两幅图像间的相似性越大；每幅候选图Ici根据和查询图像的相似度升序排序，排名前k的图像则为检索结果；步骤3.3：检索结果评价使用基于排名的评价标准对检索结果进行评价；对于一幅查询图像q和得到的排名前k幅检索结果图像，查准率Precision根据以下公式计算：Precisionk=Σi=1kRel(i)k---(5)]]>其中，Precision@k表示设定阈值k，在检索到第k个正确结果为止，从第一个正确结果到第k个正确结果的平均正确率；Rel(i)表示查询图像q和排名第i幅图像的相关性，Rel(i)∈{0,1}，1代表查询图像q和排名第i幅图像具有相同分类，即二者相关，0则不相关。