[发明专利]图像检索方法及装置

权利要求书

1.一种图像检索方法，其特征在于，包括：

使用卷积神经网络提取目标图像的特征，根据所述卷积神经网络中最后一个卷积层输出的目标图像特征图，将同一位置的所述目标图像特征图中像素的总得分作为所述目标图像的类激活映射表；

将所述目标图像的各特征图与所述目标图像的类激活映射表进行相乘后求和池化，将求和池化结果与所述目标图像各特征图的权重进行相乘，获取所述目标图像各特征图的中间特征；

根据所述卷积神经网络的判别层输出的目标图像类别概率和所述目标图像各特征图的中间特征，获取所述目标图像各特征图的空间语义特征；

根据所述目标图像各特征图的空间语义特征和预先获取的各待检索图像各特征图的空间语义特征，获取检索结果。

2.根据权利要求1所述的方法，其特征在于，通过以下公式根据所述卷积神经网络中最后一个卷积层输出的目标图像特征图，将同一位置的所述目标图像特征图中像素的总得分作为所述目标图像的类激活映射表：

其中，CAM_c(x,y)为所述目标图像所有特征图中坐标为(x,y)的像素的总得分，f_k(x,y)表示最后一个卷积层输出的目标图像第k个特征图中坐标为(x,y)的像素特征，为目标图像第k个特征图的预测结果为c类时所述卷积神经网络的全连接层的权重参数。

3.根据权利要求1所述的方法，其特征在于，在将求和池化结果与所述目标图像各特征图的权重进行相乘，获取所述目标图像各特征图的中间特征的步骤之前，还包括通过以下公式计算所述目标图像各特征图的权重：

其中，CW_k表示所述目标图像第k个特征图的权重，K为所述目标图像特征图的总个数，Q_n为目标图像第n个特征图中非零像素的比例，Q_k为目标图像第k个特征图中非零像素的比例。

4.根据权利要求1所述的方法，其特征在于，根据所述卷积神经网络的判别层输出的目标图像类别概率和所述目标图像各特征图的中间特征，获取所述目标图像各特征图的空间语义特征的步骤具体包括：

根据所述卷积神经网络的全连接层的输出，使用softmax判别层获取所述目标图像的类别概率；

将所述类别概率与所述目标图像各特征图的中间特征进行相乘，获取所述目标图像各特征图的空间语义特征。

5.根据权利要求1-4任一所述的方法，其特征在于，各所述待检索图像各特征图的获取方法与所述目标图像特征图的获取方法相同；

各所述待检索图像各特征图的空间语义特征的获取方法与所述目标图像特征图的空间语义特征的获取方法相同。

6.根据权利要求1-4任一所述的方法，其特征在于，根据所述目标图像各特征图的空间语义特征和预先获取的各待检索图像各特征图的空间语义特征，获取检索结果的步骤具体包括：

计算所述目标图像各特征图的空间语义特征和各待检索图像各特征图的预先获取的空间语义特征之间的余弦距离，根据所述余弦距离获取检索结果。

7.一种图像检索装置，其特征在于，包括：

映射模块，用于使用卷积神经网络提取目标图像的特征，根据所述卷积神经网络中最后一个卷积层输出的目标图像特征图，将同一位置的所述目标图像特征图中像素的总得分作为所述目标图像的类激活映射表；

第一获取模块，用于将所述目标图像的各特征图与所述目标图像的类激活映射表进行相乘后求和池化，将求和池化结果与所述目标图像各特征图的权重进行相乘，获取所述目标图像的各特征图的中间特征；

第二获取模块，用于根据所述卷积神经网络的判别层输出的目标图像类别概率和所述目标图像各特征图的中间特征，获取所述目标图像各特征图的空间语义特征；

检索模块，用于根据所述目标图像各特征图的空间语义特征和预先获取的各待检索图像各特征图的空间语义特征，获取检索结果。