[发明专利]一种基于关键局部信息的图像检索方法

说明书

本发明实施例公开了一种基于关键局部信息的图像检索方法、装置、系统，涉及图像处理技术领域，能够实现利用关键局部内容检索得到其主体的完整图像，从而提升检索准确度。本发明包括：原始图库图像处理；查询图像特征提取；相似度检索过程。具体为：调整原始图像尺寸，提取图库原始图像卷积特征，对卷积特征图聚类，根据聚类特征图生成关键内容区域，对原始图像以及关键内容区域进行特征提取得到特征向量，调整查询图像尺寸，提取查询图像的特征向量，计算查询图像与原始图库图像及其关键内容区域的相似度，根据结果排序并返回对应原始图像。本发明适用于查询图像不具备完整性但是包含足以检索到原图的关键信息的图像检索任务。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于关键局部信息的图像检索方法。

背景技术

图像信息的处理和检索是进行信息推理、决策的重要一环，然而在实际应用中，普遍存在图像信息残缺、检索内容不完整的情况。尽管这类问题通常可以随着侦察技术、图像采集技术和成像技术进步略有缓解，但是在只能获得有限信息的前提下，一种能够解决图像信息不完备问题的系统尤为关键。

现有的图像检索技术大多以整个图像为单位提取全局特征，获得能表征图像信息的特征向量，进而做相似度检索，这导致用户受到了查询图像完整性的限制。当输入的查询图像仅为目标的一小部分，而图库中没有对应区域的图像时，往往无法达到检索到原目标的效果。少数关注到此问题的图像检索技术采用了较为单一的图像区域划分方式，难以关注重要特征区域；或采用有监督的方式训练神经网络模型，进行关键特征区域的划分，但是这种方式需要消耗人力标注数据集，且引入人的因素导致关键内容区域划分较为主观。并且，由于此类模型是按照某些特定类别进行训练的，训练好的网络难以用于跨类别进行区域划分。这就导致了难以实现查询图像不具备完整性但是包含足以检索到原图的关键信息的图像检索任务。

发明内容

本发明的实施例提供一种基于关键局部信息的图像检索方法，能够实现利用关键局部内容检索得到其主体的完整图像，从而提升检索准确度。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，本发明的实施例提供的方法，包括：

S1、对原始图像进行预处理，获取对应关键内容区域的关键内容特征；

S2、接收用户上传的待查询图像，并提取待查询图像的图像特征；

S3、利用数据图库中各原始图像的全局特征和关键内容特征，对所述待查询图像进行相似度检索。

结合第一方面，在第一方面的第一种可能的实现方式中，在S1中，所述预处理包括：

S11、提取原始图像的卷积特征，并形成卷积特征图；

S12、对所得到的卷积特征图进行聚类，得到聚类特征图；

S13、根据所述聚类特征图生成关键内容区域；

S14、对所述原始图像和关键内容区域分别进行特征提取，得到所述原始图像和关键内容区域各自的特征向量。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，在S11中，所述提取原始图像的卷积特征并形成卷积特征图包括：

调整所述原始图像最短边尺寸至预设值；

通过深度残差网络提取得到特征图，其中，所述深度残差网络中加入特征修正模块；

通过所述特征修正模块，获取给定的中间特征图的注意力权重，将所获取的注意力权重与所述给定的中间特征图相乘，得到带有注意力的特征图，其中，所述给定的中间特征图由所述深度残差网络中的残差模块输出。