[发明专利]一种视觉与语义相似性约束的图像检索方法

摘要

本发明公开了一种保持视觉与语义相似性的图像检索方法。该方法首先采用L1图和KNN图两种不同的构图算法，分别对图像视觉和语义相似性进行建模；接着将得到的两种图约束加入到非负矩阵分解算法框架中构建保持视觉与语义相似的非负矩阵分解算法模型；然后利用图像数据集X对该模型进行训练，得到保持视觉和语义相似性的图像基矩阵U和所有图像在U所展开的子空间中的特征表达V；最后在图像检索时，将作为检索参考的图像x转换到该子空间中，得到新特征表达v；依据v与图像数据集中图像的距离，对图像进行排序，返回距离最小的前K个图像给用户，实现图像的检索。本方法在训练得到U后，对新图像特征表达的计算时间为线性时间，能够比较快速准确地实现图像检索功能。

主权项

1.一种保持视觉与语义相似性的图像检索方法，其特征在于包括如下步骤：1）采用L1图和KNN图的两种不同构图算法，分别对图像视觉相似性和语义相似性进行建模：对视觉相似性建模：以图像集原始视觉特征X＝[x₁,...,x_n]作为L1图的顶点，L1图的边权重矩阵W＝[w₁,...,w_n]，其中w_i计算如下：min||wi||1s.t.||xi-Xwi||≤ϵ,wii=0,∀i---1]]>其中，x_i为第i幅图像的原始视觉特征，w_i为矩阵W的第i列，ε为误差系数，w_ii为向量w_i的第i个分量；构建视觉相似性L1图约束如下：minRg=Σi=1n||vi-Vwi||2=||V-VW||F2---2]]>=tr(V(I-W)(I-W)TVT)=tr(VLgVT)]]>其中，L_g＝(I-W)(I-W)^T，V＝[v₁,...,v_n]为图像集在子空间上的特征表达，I为单位矩阵；对语义相似性建模：以图像集原始视觉特征X＝[x₁,...,x_n]作为KNN图的顶点，KNN图的边权重矩阵S中设置如下：构建语义相似性KNN图约束如下：minRs=12Σi,j=1n(vi-vj)2Sij=tr(VLsVT)---4]]>其中，L_s＝D-S，S_ij为矩阵S中第i行第j列上的元素，D_ii为矩阵D上第i行第i列上的元素；2）将得到的L1图约束和KNN图约束加入到传统的非负矩阵分解算法框架中，构建保持视觉与语义相似性的非负矩阵矩阵分解算法模型：minU,V≥0||X-UV||F2+γ·{α·Rg+(1-α)·Rs}]]>=minU,V≥0||X-UV||F2+γ·{V(α·Lg+(1-α)·Ls)VT}]]>    5其中，α和γ为正则化参数，U为保持视觉和语义相似性的图像基矩阵，V为图像基矩阵U所展开的子空间中的特征表达；3）利用图像数据集对公式5算法模型进行训练，计算得到保持视觉和语义相似性的图像基矩阵U和所有图像在图像基矩阵U所展开的子空间中的特征表达V，计算方法如下：i)随机初始化U和V矩阵，令中间变量L＝α·L_g+(1-α)·L_s；ii)迭代计算Uij←Uij(XVT)ij(UVVT)ij]]>和Vij←Vij(UTX+γVL-)ij(UTUV+γL+)ij]]>直到收敛，其中L+=12(L+|L|),]]>|L|为矩阵L中所有元素取对应绝对值所构成的矩阵；4）在进行图像检索时，将作为检索参考的图像x转换到图像基矩阵U所展开的子空间中，得到新的特征表达v，计算如下：v＝(U^TU)^-1U^Tx＝Mx，    6其中，M＝(U^TU)^-1U^T，U^T为矩阵U转置，(U^TU)^-1为U^TU的逆矩阵；5）依据步骤4）得到的v，计算v与图像数据集中任一图像x_i的特征表达v_i之间的距离s_i，计算公式如下：s_i＝exp(-||v-v_i||²)    7最后根据距离s_i对图像数据集中所有图像进行排序，返回距离值最小的前K个图像给用户，从而实现图像检索。