[发明专利]一种大规模数据背景下的快速有效的图像检索方法

摘要

本发明提供了一种大规模数据背景下的快速有效的图像检索方法，属于计算机视觉、统计学习、模式识别技术领域。首先采用在特定任务数据集下做过迁移学习的深层卷积神经网络提取图像的局部特征，然后进一步利用空间均值池化和协方差描述子对提取的图像局部特征进行建模。为了能够鲁棒的估计高维协方差描述子，本发明提出了改进的最大似然估计法。通过对空间均值池化模型和协方差描述子进行加权融合得到最终的图像表达。为了比较两幅图像的图像表达，提出了基于最大间隔子空间的低秩测度学习方法。一方面降低了图像表达的维度以提高图像匹配效率，另一方面可以依据特定任务数据集的先验信息提高图像匹配准确率。

主权项

一种大规模数据背景下的快速有效的图像检索方法，其特征在于，步骤如下：步骤一，基于迁移学习和深层卷积神经网络的局部图像局部特征提取(1)深层卷积神经网络的训练与迁移学习首先在大规模图像数据集ImageNet上训练一个卷积神经网络CNN_Ly8，CNN_Ly8是一个8层的卷积神经网络，其前5层为卷积层，后3层为全连接层；使用给定检索数据集的训练图像样本对CNN_Ly8进行参数微调，得到迁移学习后的网络，记为CNN_Ly8_FT；(2)使用网络CNN_Ly8_FT提取图像局部特征对待处理的图像进行等比例缩放，约束其最小边的长度为256个像素点；对缩放后的图像进行增广，获取多个固定大小的图像区域以及对应的镜像图像；图像经过增广后得到B个相同大小的子图像，每一个子图像代表原图像的一个特定的区域；将增广得到的每一个子图像输入网络CNN_Ly8_FT，取最后一个卷积层的输出作为图像局部特征；每一个子图像得到一个h×w×d的图像局部特征张量，其中h×w是局部特征的个数，d是局部特征的维度；当输入的子图像为正方形时，得到的特征中h＝w；一幅图像的B个子图像一共得到M×d的局部特征，其中M＝B×h×h代表一幅图像提取的局部特征的总数；步骤二，基于一阶空间均值池化和鲁棒协方差估计的图像局部特征建模对步骤一获得的图像局部特征进行两种相互独立的方式建模，分别为一阶的空间均值池化建模与二阶的鲁棒估计的协方差建模；两种建模方式如下：1)计算一阶的空间均值池化建模向量ysa)对图像局部特征划分空间位置区域对任意子图像提取的h×w×d的图像局部特征，依照特征的空间位置划分子区域：以步长为s，边长为b将特征张量按照(h,w)面划分为L个重叠的正方形子区域；将每个区域中包含的b×b个图像局部特征记为区域特征张量；b)对区域特征张量进行局部空间表达对于每个区域特征张量，依次级联其包含的b×b个图像局部特征，得到一个维度为D＝b×b×d的向量，即为该区域特征张量的局部空间表达；c)对得到的L个局部空间表达进行平均聚合利用平均聚合方法求L个局部空间表达向量的均值向量，得到图像局部特征的一阶的空间均值池化建模向量ys；d)归一化使用公式ys←sign(ys)|ys|β对ys进行归一化，其中β＝0.75；2)计算二阶的鲁棒估计的协方差建模向量yc二阶的鲁棒估计的协方差建模方式在传统的最大似然估计的基础上引入一个正则项，约束将要估计的协方差与单位矩阵的冯纽曼矩阵散度最小，代价函数为minC~{log(|C‾|)+tr(C‾-1C)+θDvN(I,C‾)},DvN(I,C‾)=tr(log(I)-log(C‾)-I+C‾).---(1)]]>其中：C是通过协方差公式直接计算的图像局部特征的采样协方差矩阵，是鲁棒估计的协方差矩阵，I是与C维度相同的单位阵，θ是正则项系数，log(·)表示求矩阵的对数运算，tr(·)为矩阵的迹；鲁棒估计的协方差矩阵的表达式：C‾=UΛ‾UT,λ‾i=(1-θ2θ)2+λiθ-1-θ2θ---(2)]]>其中：为一个由特征值组成的对角矩阵，λi＝1,2,...,d与U分别为采样协方差矩阵C的特征值和特征向量矩阵，(·)T表示矩阵的转置；计算二阶的鲁棒估计的协方差的步骤如下：(a)计算图像局部特征的采样协方差矩阵C利用步骤一中提取的图像局部特征，使用以下公式计算采样协方差：C=1M-1Σi=1M(xi-μ)(xi-μ)T---(3)]]>其中：{xi},i＝1,...,M为一幅图像所提取的全部局部特征，M为特征个数，μ为图像局部特征的均值向量；(b)对采样协方差C进行特征值分解C的特征值分解得到C＝UΛUT，其中Λ为对角矩阵，对角元素为C的特征值{λ1,…,λd}，U为特征值对应的特征向量矩阵；(c)计算鲁棒估计的协方差矩阵利用以下公式对Λ的对角元进行处理，得到新的特征值矩阵λ‾i=(1-θ2θ)2+λiθ-1-θ2θ]]>其中：θ为代价函数定义的正则项系数，λi＝1,2,...,d为采样协方差矩阵C的特征值；由此得到鲁棒估计的协方差矩阵(d)向量化协方差矩阵由于具有对称性，通过取其上三角元素的方法将其向量化，得到二阶的鲁棒估计的协方差的建模向量(e)归一化使用公式yc←sign(yc)|yc|β对yc进行归一化，其中β＝0.75；步骤三，对特征建模向量ys和yc进行基于大间隔子空间的判别学习使用有标签的训练集图像的标签信息及得到的特征建模向量，分别对于ys和yc有监督的学习具有辨别能力的低秩线性映射矩阵Ls和Lc；使用学习得到的线性映射矩阵对图像的特征建模向量进行降维，使降维后的向量具有更强的辨别能力；对于N个带标签的训练样本{(yi,li),i＝1,...,N}，其中yi为步骤二计算得到的第i幅图像的特征建模向量ys或yc，li为第i幅图像的标签；假设训练集图像划分为K类，每一类图像的特征建模向量组成一个子空间则训练样本空间即为K个子空间的集合；此时，li代表yi所属子空间的标签，li∈{1,2,...,K}；当li＝K时，定义为yi的目标子空间，反之为非目标子空间；同时定义yi到子空间的距离为：其中：M表示距离测度矩阵，L为想要优化得到的低秩线性映射矩阵，由矩阵M的Cholesky分解M＝LLT得到；Ak为的基向量集合，由所有属于该子空间的建模向量yi组成，每一列为一个样本；αi为yi在Ak上的线性表达；基于大间隔测度学习思想，提出大间隔最近子空间的代价函数为：其中与分别代表yi到其目标子空间与非目标子空间的距离，γ是一个常量系数，[·]+＝max(·,0)；具体求解步骤为：1)对距离测度矩阵M进行初始化，定义为单位矩阵；2)固定测度矩阵M，使用公式(4)所定义的距离函数计算所有特征建模向量yi到各子空间的距离3)使用上一步计算得到的距离与公式(5)，优化LMNS代价函数更新M；4)判断收敛条件，若未收敛则重复步骤三中的步骤2)和步骤三中的步骤3)；若收敛则停止迭代，得到距离测度矩阵M；5)对M进行Cholesky分解，得到低秩线性映射矩阵L；对于步骤二得到的两种特征建模向量ys和yc，根据上述的5个步骤分别独立的优化各自的映射矩阵Ls和Lc；优化求解映射矩阵的过程在训练模型的过程中离线进行，在实际检索过程中不需要重复训练求解，即L作为离线映射矩阵使用，并不影响检索效率；经过映射后的ys和yc分别记为fs＝Lsys与fc＝Lcyc；步骤四，融合两种降维的特征建模向量fs和fc进而得到图像表达向量对于一幅图像，先后使用步骤一至步骤三得到fs和fc，加权级联两种向量即得到最终的图像表达向量f＝[ωfs；(1‑ω)fc]＝[ωLsys；(1‑ω)Lcyc]，其中ω∈(0,1)控制两种建模方式得到的fs和fc在图像表达中起到作用的大小；步骤五，图像匹配并返回检索结果该步骤中检索的距离测度为图像表达向量之间的欧氏距离；根据前四个步骤计算检索图像的表达向量f，然后计算f与图像数据库中的所有待检索图像的表达向量之间的欧氏距离；与检索图像表达向量的欧式距离越小的图像被认为与检索图像越相似，通过对所有的距离进行排序来找到距离最小的n个图像作为检索结果返回。