[发明专利]一种大规模数据背景下的快速有效的图像检索方法

说明书

技术领域

本发明涉及到计算机视觉、统计学习、模式识别技术领域，提出了一种针对大规模数据背景下可以适用于真实复杂场景的快速有效的图像检索方法。

背景技术

早期的图像检索技术主要是基于关键字的搜索，用户通过输入对查询图像的描述，在检索数据库中找到相应的检索结果。随着互联网和大数据时代的到来，基于关键字的图像检索技术已不能适用于海量内容、实时扩展的检索数据库。因此，基于内容的图像检索技术在当前大型的搜索引擎中有着日益广泛的应用。基于内容的图像检索是指用户提供查询图像，检索算法计算图像特征表达，在检索库中搜索相似的图像内容并返回结果的检索技术。

基于内容的图像检索技术的难点在于如何设计算法提取图像特征表达与如何度量图像表达之间的相似性。由于图像采集过程中的光照、拍摄角度与尺度等方面的变化，图像变化显著且不可控。尤其是在大数据背景下真实图像数据分布往往十分复杂，这对图像检索任务带来极大的困难与挑，直接导致了当前存在的一些检索方法的检索准确率低，效率不佳。此外，大规模检索问题对算法的效率的要求很高。因此，设计一种具有鲁棒性和辨别能力的图像表达与快速有效的距离度量算法用于大规模图像检索是本发明的目标所在。

近年来，随着对深度学习技术的研究愈发成熟，深层卷积神经网络(CNN，Convolutional Neural Networks)在计算机视觉中的应用也越来越广泛。当前图像检索领域中领先的方法基本都采用了深度学习技术。例如Babenko等人在文献[Babenko A,Slesarev A,Chigorin A,et al.Neural codes for image retrieval[C],ECCV 2014:584-599]中提出针对特定的图像检索任务(如场景或地标建筑检索)，构建相似的图像数据集，在该数据集上训练CNN模型。该研究表明了针对特定任务对CNN模型进行迁移学习的重要性。2015年，他们在文献[Babenko A,Lempitsky V.Aggregating Deep Convolutional Features for Image Retrieval[C],ICCV 2015]中提出使用经过预训练的CNN模型中全连接层的输出作为图像的局部特征，使用平均聚合(Average Pooling)方法得到图像的表达向量。该方法虽然效率很高，但是忽略了图像局部特征对应图像块的空间位置分布，在复杂背景的图像检索问题上不够鲁棒。此外，简单的平均聚合只使用了特征的一阶信息，并没有考虑具有更丰富信息的高阶表达，如二阶的协方差描述子建模。

基于上述的图像检索的挑战与困难以及现有工作的不足之处，本发明从提取图像表达与度量图像相似性两方面入手，提出了一种大规模数据背景下的快速有效的图像检索方法。

发明内容

本发明提出了一种针对大规模数据背景下可以适用于真实复杂场景的快速有效的图像检索方法。

本发明的技术方案：

一种大规模数据背景下的快速有效的图像检索方法，步骤如下：

步骤一，基于迁移学习和深层卷积神经网络的图像局部特征提取

首先使用检索数据库的训练集图像对经过预训练的深层卷积神经网络做迁移学习，即微调卷积神经网络各层参数；然后将待处理的图像作为迁移学习得到的深层卷积神经网络的输入，提取最后一层卷积层的输出作为图像局部特征；

步骤二，基于空间均值池化和鲁棒协方差估计的图像局部特征建模

该步骤由两个相互独立的建模方式组成，分别为使用一阶的空间均值池化和二阶的鲁棒估计的协方差对步骤一提取的图像局部特征进行建模，得到的特征建模向量用于表示图像局部特征的信息；

步骤三，对获得的特征建模向量进行基于大间隔子空间的判别学习

利用给定训练数据中已知的标签信息，分别对步骤二中提出的两种特征建模向量使用大间隔最近子空间学习算法，得到相应的具有判别能力的低秩线性映射矩阵；再利用得到的映射矩阵对两种特征建模向量分别进行有监督的降维；

步骤四，融合降维后的两种特征建模向量得到最终的图像表达向量

将降维后的两种特征建模向量通过加权系数进行加权级联，得到最终的图像表达向量，其中融合系数控制两种建模向量在图像表达中起到作用的大小。

步骤五，图像匹配并返回检索结果

首先根据前面四个步骤计算查询图像的表达向量，然后计算该表达向量与图像数据库中的所有待检索图像的表达向量的欧氏距离，对所有距离排序找到距离最小的n个图像并返回检索结果。