[发明专利]一种基于残差注意力的遥感图像检索方法及装置

说明书

本发明提供了一种基于残差注意力的遥感图像检索方法及装置，属于图像处理领域，方法包括：将待检索遥感图像输入至训练完毕的深度神经网络，根据正样本排名为正样本对应的三元组分配不同的惩罚权重；将各单元中的惩罚权重与正样本的检索分数相乘后求和，输出检索结果；训练深度神经网络的方法为：通过深度神经网络提取高层语义特征；通过残差注意力机制为局部特征分配注意力分数后，将全局特征和带有注意力分数的局部特征通过残差映射，获取更新后的特征集合；将更新后的特征集合通过特征描述符池化；将输出特征分划分为正样本和负样本后，采用动态加权机制，结合三元组损失函数训练深度神经网络。本发明有效提高了图像检索装置的性能。

技术领域

本发明属于图像处理领域，更具体地，涉及一种基于残差注意力的遥感图像检索方法及装置。

背景技术

近来，随着遥感数据急速增加，有效的遥感数据处理技术显得越来越重要。当前，遥感图像处理中的基本任务包括对象/实例检测，分类，检索，目标表面分析和分割等。在这些任务中，从海量的遥感图像中查询感兴趣的目标显得极具挑战性，并且受到了遥感界的关注。遥感图像检索系统旨在检索遥感数据集中与查询图像最相似的图像，并由特征提取和相似性度量两部分组成。遥感图像包含更加丰富的地理位置、拍摄视点、时差和高分辨率信息，因此，提取更具语义性的特征表示成为当前遥感图像检索领域的研究热点。目前，遥感图像检索方法主要分为基于人工特征(低、中层特征)和基于深度特征(高层特征)的方法。

传统的遥感图像检索系统，通过图像本身的特征(又称底层特征，例如图像的颜色、形状和纹理)或者聚合特征(又称中层特征，例如词袋、局部聚集描述符和钓鱼向量)来表征图像内容，从而进行图像间的相似性匹配。然而，设计人工特征存在主观性差异和难以逾越的“语义鸿沟”问题，并且在庞大的遥感图像数据中制作人工特征耗时耗力。而基于深度度量学习的图像检索方法则可以有效地解决这些问题。基于深度度量学习的方法通过训练卷积神经网络，自动将数据中的信息抽象为特征向量，并映射到度量空间中，随后通过距离度量函数计算特征间的距离。该方法的主要目的是学习一种新的度量，以最小化同一类样本的间距，最大化不同样本的间距，从而精准衡量图像之间的相似度。

深度度量学习技术可以从数据中提取高层语义信息，并且通过相似性度量算法(例如欧几里得距离)直接计算被测图像之间的语义相似性。因此，深度度量学习技术有助于解决低、中层特征与高层特征之间的语义鸿沟问题，并且能有效连通特征提取和相似性度量两个部分，以降低模型的多部分带来的不确定性。但是，现有的大多数基于深度度量学习的图像检索方法都只能简单地将图像特征映射到一个公共的潜在嵌入空间当中，平等地、无差别地对待不同类型的图像区域，然后在这个空间中进行相似性计算。上述这个方案很难捕捉到图像间细微的语义差别，因此在一定程度上限制了遥感图像检索系统的性能。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于残差注意力的遥感图像检索方法及装置，旨在解决现有的大多数基于深度度量学习的图像检索方法将图像特征映射到一个公共的潜在嵌入空间当中，平等地、无差别地对待不同类型的图像区域，然后在空间中进行相似性计算，很难捕捉到图像间细微的语义差别，导致在一定程度上限制了遥感图像检索系统的性能的问题。

为实现上述目的，一方面，本发明提供了一种基于残差注意力的遥感图像检索方法，包括以下步骤：

将待检索遥感图像输入至训练完毕的深度神经网络，根据正样本排名为正样本对应的三元组分配不同的惩罚权重；

以单个待检索遥感图像为单元，将各单元中的惩罚权重与正样本的检索分数相乘后求和，获取各待检索遥感图像对应的综合分数，输出检索结果；

其中，训练深度神经网络的方法，包括以下步骤：

通过深度神经网络提取训练集中遥感图像的高层语义特征；其中，高层语义特征包括局部特征和全局特征；