[发明专利]基于显著区域特征和边缘度的可见光-红外图像配准方法

摘要

本发明公开了一种基于显著区域特征和边缘度的可见光‑红外图像配准方法，用于解决现有可见光‑红外图像配准方法提取的图像间特征相似度低导致配准精度差的技术问题。技术方案是采用基于自适应局部对比度的显著性区域检测方法从待配准图像对中提取显著区域，利用Zernike旋转不变矩描述显著区域形状特征，保证了所利用特征的平移、灰度、尺度和旋转不变性，通过RANSAC求取同名点对估计得到初始变换参数；最后利用边缘度构造的三维联合直方图对初始变换参数进行优化得到最终结果。该方法通过异源图像间相似度较高的显著区域和边缘度特征及Zernike矩的不变性，提高了图像配准的精度。

主权项

1.一种基于显著区域特征和边缘度的可见光‑红外图像配准方法，其特征在于包括以下步骤：步骤一、基于改进的局部对比度的显著性区域检测；首先，使用基于图的图像分割算法将输入图像分割成若干区域，计算各区域的颜色直方图，则区域r_k显著性值S(r_k)的计算方法为式(1)；式中，ω(r_i)为区域r_i的权值，D_r(r_k,r_i)为区域r_k和r_i之间的颜色距离度量，其计算方法见式(2)；式中，f(c_k,i)为第i个颜色c_k,i在第k个区域r_k的所有颜色中出现的概率，该概率密度函数f(c_k,i)即为归一化的颜色直方图；D(c_1,i,c_2,j)为颜色c_1,i和颜色c_2,j的Lab空间颜色距离；其次，考虑空间影响，将空间信息作为权值代入式(1)中，则区域r_k的显著性值S(r_k)为：式中，D_S(r_k,r_i)为区域r_k和r_i的质心的欧氏距离；σ_S是控制空间权值大小的阈值，σ_S越小，空间权值影响越大，较远区域的对比度对当前区域的显著性值影响较小；由于可见光图像和红外图像分辨率不一致，因此采用自适应的空间权值σ_S，计算公式如式(4)：式中，D_ang是图像对角线的长度，num是区域数量；步骤二、基于Zernike矩的显著性区域形状特征描述；Zernike矩是基于Zernike多项式构造出来的，m阶n次的Zernike多项式的定义范围为x²+y²≤1；其定义为式(5)；V_mn(x,y)＝V_mn(ρ,θ)＝R_mn(ρ)e^jnθ            (5)式中，m为非负整数，m‑|n|为偶数且m≥|n|；ρ为原点到点(x,y)的矢量长度；θ为x轴与ρ矢量逆时针方向夹角；R_mn(ρ)为点(x,y)的径向多项式，计算公式如下所示：由此给出Zernike矩的定义为式(9)；将Zernike矩的实部和虚部分别记为C_mn和S_mn，则：将Zernike矩用于处理二维图像数据，因此需要对式(10)和式(11)进行离散化；引入两个新的参数(r,σ)，分别定义为：r＝max(|x|,|y|)               (12)对于N×N的图像f(x,y)，以图像中心为坐标原点，则图像中的坐标值都满足‑N/2≤(x、y)≤N/2；由式(12)和式(13)得知，r和σ的取值范围分别为1≤r≤N/2，1≤σ≤8r；则式(6)和式(7)分别改写为式(14)和式(15)；θ＝4πσr                (15)经过新的变换，式(10)和式(11)可分别离散化为式(16)和式(17)；综上所述，Zernike矩计算方法如下：①确定图像f(x,y)的大小，从而确定式(16)和式(17)中N的值以及r和σ的取值范围；②利用式(8)计算出R_mn(ρ)的值，并结合式(16)和式(17)计算出Zernike矩的实部C_mn和虚部S_mn；③对C_mn和S_mn求模，得到Zernike矩的幅值|Z_mn|；由于尺度差异问题，还使用区域r_k最小外接矩形的对角线l_k对|Z_mn|尺度归一化，计算方法如式(18)：将Zernike矩用于显著性图中各显著性区域的形状分析，由于Zernike矩能够构造任意高阶，但考虑到计算复杂度，采用前36阶Zernike矩对区域特征进行描述；综上所述，对区域r_k的Zernike矩描述子为：其中m∈{0,1,2,3,4,5,6,7}，m‑|n|为偶数且m≥|n|；步骤三、基于Zernike矩特征和RANSAC求取同名点对，并基于同名点对初步估计变换矩阵参数；(1)同名点求取；通过对图像各显著性区域计算质心和Zernike矩描述后，产生两组未匹配的质心点；在匹配时，正确同名点所对应的Zernike矩最具相似性，同时，由于得到的匹配点对中存在误匹配对，因此，利用RANSAC算法对匹配点对进行筛选，剔除错误的匹配点对；设表示图像I_p中的第k个区域，参考图像为I₁，待配准图像为I₂，对于区域r_i⁽¹⁾和区域其Zernike矩描述子分别为和则定义两区域的相似距离为式(19):相似距离越小，则区域r_i⁽¹⁾和区域越相似，匹配度越高；将相似距离最小的两个区域认为是匹配区域，其对应的质心为匹配点对；区域r_k的质心定义为式(20):式中，(x,y)为区域r_k中的像素坐标，f(x,y)为像素值；即为区域r_k的质心坐标；由此得到一组匹配点对集合，但由于其中仍然包含误匹配对，因此接下来采用RANSAC算法将其中的错误匹配点对剔除；根据误差度量函数把所有数据分为内点和外点；内点的集合又称为一致集，经过多次随机采样，当一致集达到最大时，则对应的模型即为所求结果；RANSAC算法的步骤如下：①从候选点对集合S中随机抽取一个含有n_smpl个点对的样本集P，并估计初始化模型；②对集合S中的剩余点对计算变换模型，与初始化模型M的距离小于误差阈值τ的点对标记为内点，形成一致集S*；③重复上述步骤，直到达到最大采样次数N_max，或者集合S*的元素个数大于某一个阈值T；④根据最大一致集S*，计算变换模型的参数；RANSAC算法包含了四个输入参数：随机抽样数n_smpl、误差阈值τ、最大采样次数N_max和最优一致集阈值T；1)随机抽样数n_smpl需要满足变换模型估计的最小配置要求，n_smpl取4组不共线的数据点对；2)误差阈值τ对RANSAC性能有很大的影响，根据期望的内点概率来进行设置；τ为经验值，经验值取7，3)最大采样次数N_max只要足够大，就能够保证匹配的正确性，N_max的取值计算公式如式(21)所示；其中，n_smpl为随机抽样数；ω为数据局内点的概率；p表示迭代过程中从数据集内随机选取出的点均为局内点的概率；通常数据中局内点的概率ω是未知的，但能够通过自动更新ω来自适应决定所需要采样的次数；4)较大的一致集S*使得变换模型参数更为精确，为了得到表征数据集S的正确模型，对T不做限制，最大一致集S*取局内点最多的一致集；(2)初始变换参数估计；获得筛选后的正确同名点对后，选择合适的变换模型并进行变换模型参数估计；对于透视投影变换模型，待配准图像I₂中匹配点(x',y')经其变换后得到配准后图像中点(x,y)的计算公式如式(22)所示，对应的参数矩阵H₀为式(23)：式中，H₀为待配准图像I₂到参考图像I₁坐标系的变换矩阵，至少使用4对不共线同名点对计算出H₀中所有未知量的值；步骤四、基于边缘特征的变换参数优化求解；(1)边缘特征；采用边缘度的概念；对于一个结构张量其定义式如下式(24)：式中，*是卷积算子，表示一个标准差为的二维高斯核，I_x和I_y分别表示x和y方向的梯度分量；通过在每个像素上对特征值分解，得到分别表示最大和最小的亮度变化的特征向量ω₁和ω₂，ω₁和ω₂分别对应两个特征值μ₁和μ₂，μ₁≥μ₂≥0；边缘度C的定义如下式(25)：C的取值范围是[0,1]，ε为设定的阈值，用来防止同向区域像素取值过大；由此得到可见光‑红外图像的边缘度图，它对边缘的描述比常规的边缘检测方法差异更小，增加了可见光和红外图像边缘的相似性，提高了正确配准的概率；边缘像素点(x,y)处的广义梯度向量流通过求取下式(26)的能量函数最小值得到：式中，为像素点(x,y)处的梯度值，g(C)＝e^‑C/K，C为边缘度，K为梯度场平滑程度的正则化因子，K取1；(2)相似性度量；当两幅图像配准时，边缘度的互信息越大，广义梯度向量流的方向误差不确定性越小，配准精度越高；因此，定义如下相似性度量函数(27)：F(S,T)＝M(C_S,C_T)‑H(D|C_S,C_T)            (27)式中，M(·)表示互信息，H(·)表示Shannon熵，C_S和C_T分别表示图像S和图像T的边缘度，D为C_S和C_T相应像素之间方向差异，其计算公式如下式(28)：式中，和分别是图像S和图像T的广义梯度向量流；然后，以上一步估计得到的初始配准参数H₀为初值，相似性度量函数(27)为目标函数，采用单纯形法进行优化搜索，当F(S,T)达到最大值时，配准精度最高，以此时的H为最终变换矩阵；最后，以H为变换矩阵对待配准图像进行图像变换，然后与参考图像加权融合，得到最终结果。