[发明专利]基于增补机制和PCNN的NSCT域图像融合方法

摘要

本发明公开了一种基于增补机制和PCNN的NSCT域图像融合方法，用于解决现有NSCT域图像融合方法存在图像失真现象的技术问题。技术方案是采用增补的小波变换对NSCT分解的低频子带进行融合处理，以便尽可能多的保留图像背景的细节信息；利用改进的高斯加权SML的方法进行融合来增强图像细节；利用边缘梯度信息激励PCNN的方法进行融合来增强图像边缘信息；实验证明本发明方法与现有的图像融合方法相比具有更好的融合效果，在对克服图像的纹理细节缺失、失真不足的同时，目标显著性得到很大的提高，进一步提高了图像质量。

主权项

1.一种基于增补机制和PCNN的NSCT域图像融合方法，其特征在于包括以下步骤：步骤一、对已配准的待融合图像A和B分别进行NSCT分解，得到各自的NSCT系数和其中为A图像第j尺度下第k个方向的NSCT高频子带系数，L^A为A图像的NSCT低频系数，为B图像第j尺度下第k个方向的NSCT高频子带系数，L^B为B图像的NSCT低频系数，j表示NSCT分解尺度，j＝1，2，…，J，其中J为最大分解尺度，k表示分解尺度j下的分解方向数，满足k＝2^j；步骤二、按融合规则对步骤一得到的图像A和B各自的NSCT系数和进行融合，得到融合后的NSCT系数，融合规则为：a.NSCT低频子带系数融合策略；对NSCT分解的低频子带进行增补机制的小波变换分解的低频部分采用局部加权区域能量进行融合；计算以像素点(i,j)为中心，大小为3×3窗口区域局部加权能量定义如下式：式中S_L(i,j)表示低频图像点(i,j)的灰度，ω_L(x,y)为局部区域窗口，表示卷积，L表示待融合图像，步骤一中A＝VI,B＝IR,VI是可见光图像，IR是红外图像；图像中的目标物体在红外图像中的局部邻域能量比其在可见光图像中的局部邻域能量大，低频子带融合规则如下式所示：式中，式中，分别是第l层第k个方向对应低频子带融合系数、红外图像和可见光图像的低频子带系数，分别是第l层第k个方向对应红外图像和可见光图像的局部区域加权能量，分别是第l层第k个方向对应红外图像和可见光图像的局部区域加权能量的平均值；ω₁为权重系数，为图像信息熵，M为图像总的灰度级数，p_i＝m_i/m为图像中像素灰度值为i的概率，k1，k2为图像权重系数，取k1＝5，k2＝1.6；由于拉普拉斯分量绝对和SML能够反映图像边缘、纹理细节信息并且能表示图像的锐化度和清晰度，利用改进的高斯加权SML对增补小波变换分解后的三个方向子带系数分别进行融合；设经过二维小波变换分解后第l层第k个方向的方向子带系数为H^l,k，SML定义如下：ML^l,k(i,j)＝‑H^l,k(i‑1,j‑1)‑4H^l,k(i‑1,j)‑H^l,k(i‑1,j+1)‑4H^l,k(i,j‑1)+20H^l,k(i,j)‑4H^l,k(i,j+1)‑H^l,k(i+1,j‑1)‑4H^l,k(i+1,j)‑H^l,k(i+1,j+1)    (8)式中采用3×3窗口，采用式(7)计算的SML认为窗口内所有点对SML的贡献一致，无法突出中心的重要性；采用高斯函数对ML加权求和，高斯函数满足强调中心像素以及距离中心像素越近的像素权值越大的要求，归一化后权值之和为1；高斯函数计算公式如下式所示：其中σ表示方差；改进的高斯加权SML如下所示：其中，权值函数是按式(9)取值，表示卷积；引入图像区域锐化度比率，定义如下：其中,式中：j＝VI,IR，m×n表示图像的区域大小，RRS^VI,IR表示待融合图像VI和IR的区域锐化度比率，MEAN^j表示图像的均值，STD^j表示图像的方差；结合不同谱段源图像的方向子带细节信息，利用加权组合的方式融合方向子带系数；设源图像的方向子带系数则融合后的系数为及权值分别如式(14)、式(15)b.NSCT高频子带系数融合策略；对NSCT高频子带最高层融合：在图像最高层尺度N上采用改进的高斯加权SML；对NSCT高频子带其它层融合：对NSCT高频子带其它层采用改进的脉冲神经网络PCNN的图像融合规则；设改进的PCNN的迭代次数为N，随着迭代次数的增加，各PCNN中外部刺激输入较大的神经元点火次数将会增加；完成N次迭代后统计各NSCT变换分解子图像每个像素的点火次数，根据点火次数的大小来选择融合图像系数，然后经过NSCT逆变换得到融合图像；而人眼对边缘信息更敏感，边缘梯度信息能更好地代表图像特征；边缘梯度信息为式中，D是以位置(i,j)为中心的周围邻域窗为3×3，对每个子带以滑动窗口为单位计算边缘梯度系数；C(i,j)是像素经过NSCT变换后对应点(i,j)的系数；在PCNN中，其数学表达式如下：F_ij(n)＝S_ij                        (17)U_ij(n)＝F_ij(n)(1+βL_ij(n))               (19)T_ij＝T_ij(n‑1)+Y_ij(n)                 (22)式中：F_ij表示第(i,j)个神经元的反馈输入，L_ij表示第(i,j)个神经元的连接输入项，β为突触之间的连接强度，θ_ij为第(i,j)个神经元的动态门限阈值，U_ij为第(i,j)个神经元的内部活动项；Y_ij为第(i,j)个神经元的脉冲输出，T_ij为迭代之后第(i,j)个神经元的点火总次数，Y_ij,pq为第(i,j)个神经元的邻域神经元(p,q)的脉冲输出，n为迭代次数，S_ij为第(i,j)个神经元的外部输入刺激信号，W_ij,pq为第(i,j)个神经元的连接矩阵中第p行q列元素，α_L、α_θ分别为连接输入衰减系数和阈值衰减系数，V_L、V_θ分别为连接幅值和阈值幅值；由式(17)～(22)得出，改进型PCNN模型有4个参数β、α_θ、V_θ、W；其中W表示的是两个像素间距离平方的导数，神经元ij和神经元pq的连接权重为：改进的PCNN图像融合过程如下：[1].利用NSCT变换对红外和可见光图像进行分解，得到尺度N以外的其它层带通子带的系数和[2].用式(16)计算边缘梯度信息，得到图像系数的边缘梯度信息特征系数和用和激励PCNN，根据式(17)～(22)流程分别得到点火次数矩阵和并采取以下融合规则对系数和进行融合处理；步骤三、图像重构；对融合图像的各子带系数进行NSCT逆变换，得到最终的融合图像。