[发明专利]图像检索方法及装置

说明书

本发明实施例提供一种图像检索方法及装置，所述方法包括：使用卷积神经网络提取目标图像的特征，根据卷积神经网络中最后一个卷积层输出的目标图像特征图，将同一位置的特征图中像素的总得分作为目标图像的类激活映射表；将各特征图与类激活映射表进行相乘后求和池化，将求和池化结果与目标图像各特征图的权重进行相乘，获取目标图像各特征图的中间特征；根据卷积神经网络的判别层输出的目标图像类别概率和目标图像各特征图的中间特征，获取目标图像各特征图的空间语义特征；根据目标图像各特征图的空间语义特征和预先获取的各待检索图像各特征图的空间语义特征，获取检索结果。本发明实施例使用空间语义信息进行检索，提高了检索精度。

技术领域

本发明实施例属于信息检索技术领域，更具体地，涉及一种图像检索方法及装置。

背景技术

图像检索是指从图像数据库中检索出与指定图像相似的图像。包括基于文本的图像检索和基于内容的图像检索。基于文本的图像检索是利用文本描述的方式描述图像的特征，基于内容的图像检索是使用图像的内容语义，如颜色、纹理和布局等进行分析和检索。

传统的基于内容的图像检索主要以手工制作的特征，即通过均值方差等数学上的信息对图像进行编码来获取特征，再进行余弦距离或者欧式距离的匹配来进行检索。随着卷积神经网络在图像识别上取得的成就，衍生出了提取卷积神经网络的全连接层的特征来进行检索。针对不同的检索任务，首先对该任务训练一个分类网络，在特定数据集上进行微调，然后提取全连接层的特征进行匹配检索。又有研究表明，卷积神经网络的卷积层输出相比全连接层的输出具有更多的空间信息，对于检索的效果更好。于是又尝试将卷积层的特征与内部感兴趣区域获取结合起来，加入监督学习的方式，如目标检测来获取图像中的关键区域，提取卷积层的特征进行检索。

由于图像检索中所使用的特征对检索结果有重大影响，即从图像中提取的特征越精确，越精细，检索结果越精确。因此，直接使用卷积神经网络中提取的空间特征进行图像检索的结果不精确。

发明内容

为克服上述现有的图像检索方法的检索结果不精确的问题或者至少部分地解决上述问题，本发明实施例提供一种图像检索方法及装置。

根据本发明实施例的第一方面，提供一种图像检索方法，包括：

使用卷积神经网络提取目标图像的特征，根据所述卷积神经网络中最后一个卷积层输出的目标图像特征图，将同一位置的所述目标图像特征图中像素的总得分作为所述目标图像的类激活映射表；

将所述目标图像的各特征图与所述目标图像的类激活映射表进行相乘后求和池化，将求和池化结果与所述目标图像各特征图的权重进行相乘，获取所述目标图像各特征图的中间特征；

根据所述卷积神经网络的判别层输出的目标图像类别概率和所述目标图像各特征图的中间特征，获取所述目标图像各特征图的空间语义特征；

根据所述目标图像各特征图的空间语义特征和预先获取的各待检索图像各特征图的空间语义特征，获取检索结果。

根据本发明实施例第二方面提供一种图像检索装置，包括：

映射模块，用于使用卷积神经网络提取目标图像的特征，根据所述卷积神经网络中最后一个卷积层输出的目标图像特征图，将同一位置的所述目标图像特征图中像素的总得分作为所述目标图像的类激活映射表；

第一获取模块，用于将所述目标图像的各特征图与所述目标图像的类激活映射表进行相乘后求和池化，将求和池化结果与所述目标图像各特征图的权重进行相乘，获取所述目标图像的各特征图的中间特征；

第二获取模块，用于根据所述卷积神经网络的判别层输出的目标图像类别概率和所述目标图像各特征图的中间特征，获取所述目标图像各特征图的空间语义特征；

检索模块，用于根据所述目标图像各特征图的空间语义特征和预先获取的各待检索图像各特征图的空间语义特征，获取检索结果。