[发明专利]一种面向图像检索的对象级深度特征聚合方法

说明书

技术领域

本发明属于数字媒体领域，涉及一种面向图像检索的对象级深度特征聚合方法。

背景技术

基于内容的图像检索作为计算机视觉领域的一个重要研究问题，在过去的十年里受到国内外学者的广泛关注。基于内容的图像检索是指从图像数据库中查找出与查询图像相似的图像。因为拍摄时角度、距离、环境等因素的不同，会造成相似或相同的拍摄对象在不同图像有着很大的变化，如尺度、视角、布局等变化。因此生成一个对各种图像变化具有高鲁棒性的图像特征，是解决图像检索问题的关键。

相对于传统的基于人工设计的图像特征，基于学习的方法尤其是卷积神经网络已经在图像特征提取上显示出的强大的能力,在图像分类和目标检测等计算机视觉任务上取得了巨大的成功。在图像检索问题中，目前有基于全局和基于局部两种卷积神经网络特征表示方法。

基于全局的方法，直接使用卷积神经网络提取整幅图像的特征，作为最终的图像特征。但是因为卷积神经网络主要对全局空间信息进行编码，导致所得特征缺乏对图像的尺度、旋转、平移等几何变换和空间布局变化的不变性，限制了其对于高度易变图像检索的鲁棒性。

对于基于局部的方法，使用卷积神经网络提取图像局部区域的特征，然后聚合这些区域特征生成最终的图像特征。虽然这些方法考虑到了图像的局部信息，使得特征相对于全局方法对各类变化具有更高的鲁棒性，但是这些方法中仍有一些缺陷。例如使用滑动窗口的方法来得到图像区域(参考Yunchao Gong，Liwei Wang，Ruiqi Guo，Svetlana Lazebnik在European Conference on Computer Vision 2014年第392-407页发表的文章“Multi-scale orderless pooling of deep convolutional activation features”)，因没有考虑到图像的颜色、纹理、边缘等视觉内容，产生大量无语义意义的区域，为之后的聚合过程带来冗余和噪声信息。另外，区域特征融合通常所使用的最大池化算法(参考Konda Reddy Mopuri,R.Venkatesh Babu在Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops 2015年第62-70页发表的文章“Object level deep feature pooling for compact image representation”)，因只保留了特征的最大响应而没有考虑特征间的关联，丢失大量信息，降低了所得的最终图像特征的区分性。

本发明通过基于对象的方法来解决以上问题。在生成图像区域时，使用基于内容的无监督对象生成方法，即通过图像颜色、纹理、边缘等视觉信息以聚类的方式来生成图像区域。因为图像中同一个语义对象会有一定的视觉相似性，这样得到的图像区域在很大概率上会包含一个对象或者对象的一部分。同时，一幅场景图像通常是由一些对象构成，对这些对象的解析是理解场景的关键。因此基于内容生成的图像区域相对于简单的滑动窗口包含更多有语义意义的视觉信息，其特征描述也具有更高的区分性，同时基于对象特征进行融合，所得最终特征对场景中对象的空间布局变化也具有很好的鲁棒性。在聚合特征的过程时，采用VLAD(Vector of Locally Aggregated Descriptors)算法，先将图像区域特征进行聚类，然后统计一幅图像中所有区域特征与其相近聚类中心的累积残差来表示最终的图像特征。相对于最大池化算法，该方法考虑了区域特征间关联的同时对图像的局部信息有更细致的刻画，使得得到的最终图像特征对各类图像变换具有更高鲁棒性。

发明内容

针对现有技术的不足，本发明提供一种面向图像检索的对象级深度特征聚合方法，生成对图像几何变换和对象空间布局变化具有高鲁棒性的图像特征用于图像检索应用。

本发明的技术方案为：

一种面向图像检索的对象级深度特征聚合方法，包括以下步骤：