[发明专利]一种基于掩膜的累加显著特征的无监督图像检索系统

说明书

本发明公开了一种基于掩膜的累加显著特征的(Mask‑based Prominent Feature Accumulation,MPFA)无监督图像检索系统，属于信息处理领域。该方法的特征包括：先抽取图像输入预训练的VGG网络的特征图，生成掩膜图。采用掩膜图对特征图的各通道处理以抽取显著特征，随后累加各通道显著特征得到求和向量；再对于维度为特征图通道数目的求和向量，排序后取累加值最大的前N个通道，对所选通道进行加权聚合等操作后得到图像的最终表示向量；最后使用余弦相似度对待检索图像最终表示向量和数据库所有图像的表示向量进行最近邻搜索，得到与待检索图像最为相似的图像检索结果。本发明通过结合掩膜和显著特征累加方法，使得无监督图像检索效果得到提升，尤其是对于包含复杂背景的图像，具有很大的实用价值。

技术领域

本发明涉及信息处理领域，特别涉及基于掩膜的累加显著特征(Mask-basedProminent Feature Accumulation,MPFA)的无监督图像检索系统。

背景技术

图像检索是计算机视觉领域的一项重要任务，它的目标是当给定一个包涵特定实例的查询图像，在数据库图像的拍摄视角、光照或遮挡情况不同的条件下，提取合适的图像表示向量，在数据库中进行最近邻搜索找到包含相同实例的图像，从而解决以图搜图问题。无监督图像检索研究中的核心是不借助人工标注等监督信息，如何利用预训练的CNN模型提取特征作为图像最终表示。特征选取的好坏会直接影响到检索的结果。

大部分无监督图像检索算法一般采用对预训练CNN网络进行微调的方法，对新的数据集采用三元组的形式进行训练。但是，如果每次添加新图像后都需要对网络进行微调，效率和可拓展性都会降低。而本发明为了解决上述的问题，采用了掩膜图来抽取特征图各通道的显著特征，累加各通道的特征后进行通道重要性的排序，选取具有代表性的通道进行加权聚合作为图像最终表示，得到了较好的检索效果，尤其是对于包含复杂背景的图像。

发明内容

为了解决现有的技术问题，本发明提供了基于掩膜的累加显著特征的无监督图像检索系统。方案如下：

步骤一，抽取图像输入预训练的VGG网络的特征图，生成掩膜图。采用掩膜图对特征图的各通道处理以抽取显著特征，随后累加各通道显著特征得到求和向量。

步骤二，对于维度为特征图通道数目的求和向量，排序后取累加值最大的前N个通道，对所选通道进行加权聚合等操作后得到图像的最终表示向量。

步骤三，使用余弦相似度对待检索图像最终表示向量和数据库所有图像的表示向量进行最近邻搜索，得到与待检索图像最为相似的图像检索结果。

附图说明

图1是本发明提供的基于掩膜的累加显著特征的(MPFA)无监督图像检索系统的网络结构图

图2是本发明提供的抽取深度特征的VGG结构图

具体实施方式

接下来将对本发明的实施方法作更详细的描述。

图1是本发明提供的基于掩膜的累加显著特征的无监督图像检索系统的网络结构图，其中包括：

步骤S1：显著特征的抽取与累加

步骤S2：代表性通道的选取与聚合

步骤S3：最近邻搜索

图2给出了VGG结构图。

下面将对每个步骤进行具体的说明：

步骤S1：显著特征的抽取与累加。由于VGG抽取的深度卷积特征中包含了显著特征和冗余特征，本发明采用最大掩膜和求和掩膜来抽取显著特征，利用掩膜图对各通道的显著特征进行累加。显著特征得到保留的同时，也抑制了冗余特征。