[发明专利]融合颜色信息和全局信息的SIFT特征匹配算法

摘要

本发明公开了一种基于SIFT(Scale Invariant Feature Transform)的图像匹配算法——SCARF(Shape‑Color Alliance Robust Feature)算法。该方法首先对图像进行特征点的提取，然后建立相应的坐标系，构造三种不同的描述子，从而进行图像匹配。特征点的提取继续沿用SIFT的特征点的提取方法，然后以每个特征点为圆心建立同心圆坐标系，最后根据图像的局部信息、全局信息和颜色信息来构造相应的描述子，根据权重参数的选择构造不同的坐标系，从而得到全新的描述子。由于本方法所提取的特征点具有很好的旋转和尺度不变性，在构造描述子又考虑了图像的全局形状信息和局部信息以及颜色信息，且采用的同心圆坐标系简化了算法的计算量，提高了匹配的鲁棒性，使得匹配的效果更为出色。

主权项

一种结合全局形状信息和颜色信息的SIFT匹配方法，其特征在于，具体步骤如下：1)对输入的图像进行特征点的提取：采用SIFT检测子对目标图像和待匹配图像进行处理，采集各自的特征点集，进行存储；2)构造同心圆坐标系：分别针对两幅图像中提取到的特征点集，以每一个特征点为圆心，以k×σ为半径，建立同心圆坐标，其中，k是实验参数，σ是特征点所对应的尺度，这样，所对应的区域与特征点所在的尺度相关，使得全局描述子具有更好的尺度不变性，本方法同心圆取32个，所以圆的半径以k×σ/32等量递增；3)对两幅图像分别构造特征点的描述子集合；3.1)128维局部信息描述子S：采用标准SIFT的描述子算法，保留了原始128维特征描述子；3.2)32维全局描述子G：对于全局描述子，首先计算特征点的主曲率信息，它可以通过2*2的hessian矩阵来来计算：H(x,y)=LxxLxyLxyLyy=I(x,y)*gxxgxygxygyy---(2)]]>上式中Lxx、Lyy和Lxy是图像和高斯函数二阶偏导数gxx、gyy和gxy卷积得到的，通过求解上述矩阵，可以得到矩阵的两个特征值，假设e(x,y)是矩阵H(x,y)两个特征值中绝对值较大的那个，就将它的绝对值定义为特征点的主曲率：c(x,y)＝|e(x,y)|   (3)在同心圆坐标轴下统计每个圆环子区域内特征点的个数，并对每个子区域内特征点的主曲率进行累加，并利用下面的公式对特征点进行反向的高斯距离加权，形成32维的全局信息描述子，反向距离加权是为了使邻域外的特征点在描述子中的贡献更大，其中尺度σk即为坐标原点所在的尺度值；ω(x,y)=1-e-((x-xk)2+(y-yk)2)/2σk---(4)]]>其中，(xk,yk)是特征点的坐标，σk是相对应的尺度值，对每个特征点，32维的描述子G＝[G1,G2....Gi,…G32]中的Gi在相对应的圆环i中构造；设在第i圆环中包含Ji个特征点，则Gi可被定义为如下所示：Gi=Σj=1Jic(xij,yij)ω(xij,yij)---(5)]]>其中，(xij,yij)是圆环i中第j个特征点；3.3)32维颜色信息描述子C：对于颜色信息描述子，首先需要计算颜色不变量，Kubelka—Munk理论描述了物体的光潜辐射特性，其模型表达为：E(λ,x)＝e(λ,x)[1‑ρf(x)]2R∞(λ,x)+e(λ,x)ρf(x)   (6)式中λ表示波长，x为二维矢量，表示观测位置，e(λ,x)表示光谱强度，ρf(x)表示x处的Fresnel反射系数，R∞(λ,x)表示材料反射率，E(λ,x)为观测处的反射谱，多数情况下，e(λ,x)在各波长上保持不变而与位置有关，将e(λ,x)改写成i(x)形式，则式(6)变为：E(λ,x)＝i(x){[1‑ρf(x)]2R∞(λ,x)+ρf(x)}   (7)对λ分别求一阶导数和二阶导数，然后相除得：K=EλEλλ=∂E/∂λ∂2E/∂2λ=∂R∞(λ,x)/∂λ∂2R∞(λ,x)/∂λ2=f[R∞(λ,x)]---(8)]]>K为颜色不变量的一种表述，同观察位置、表面朝向、光强大小、反射系数均无关，在符合人眼视觉系统和CIE‑1964‑XYZ标准的条件下，彩色图像的RGB分量和(E,Eλ,Eλλ)的关系近似为：EEλEλλ=0.060.630.270.300.04-0.350.34-0.600.17×RGB---(9)]]>计算出彩色图像的颜色不变量K；在所创建的同心圆坐标系中，统计每个圆环区域内特征点的颜色不变量K，利用公式(5)对特征点进行反向的高斯距离加权，形成32维的颜色描述子；对每个特征点，32维的描述子C＝[C1,C2....Ci,…C32]中的Ci在相对应的圆环i中构造，因此Ci可以被定义为如下所示：Ci=Σj=1JiK(xij,yij)ω(xij,yij)---(10)]]>其中K(xij,yij)是第i个圆环内第j个特征点的颜色不变量，最后得到了32维颜色描述向量，对其进行归一化处理，保持对光照的不变性；3.4)将3.1)，3.2)，3.3)中所创建的描述子组合起来可得到：SCARF=αSβG(1-α-β)C---(11)]]>其中S是128维局部特征描述子，G是32维全局信息描述子，C是32维颜色信息描述子，α和β是相对应的权重参数，以式(11)的方式组合上述三种描述子，这样就可得到192维形状颜色联合鲁棒图像匹配描述子SCARF；4.特征点的匹配：当两幅图像的特征描述子生成后，利用下列的匹配代价函数：d＝αdH+βdS+(1‑α‑β)dG   (12)作为特征点之间的相似性判定度量，其中，α和β与公式(11)中定义相同的权重参数；SIFT的描述子S的匹配代价函数dS通过欧式距离计算，具体公式如下：dS=|Si-Sj|=Σk=1128[Si(k)-Sj(k)]2---(13)]]>全局信息描述子G的匹配代价函数dG与dS相似，都是通过欧式距计算而得，具体如下：dG=|Gi-Gj|=Σk=132[Gi(k)-Gj(k)]2---(14)]]>同理，对颜色描述子C，它的匹配代价函数dC如下所示：dC=|Ci-Cj|=Σk=132[Ci(k)-Cj(k)]2---(15)]]>设立阈值T，对于其中的某个特征点A，再另一幅图像中找出与之描述向量距离的关键点B，若他们的匹配代价函数小于T，则认为特征点A与距离最近的特征点B匹配，图像依此匹配所有特征点集，跟据最后的结果输出所有匹配点；所提取的特征点具有很好的旋转和尺度不变性，在构造描述子又考虑了图像的全局形状信息和局部信息以及颜色信息，解决了图像在处理彩色图像和局部相似图像时的匹配模糊问题，提高了匹配的准确性，所采用的同心圆坐标系既简化了算法的计算量，又没有破坏算法本身的旋转不变性和尺度不变性，提高了匹配的鲁棒性，该方法在处理视场角变化，尺度旋转变化，图像模糊，光照变化方面都有很好的匹配效果，准确率有了明显的提高。