[发明专利]一种高动态范围图像鬼影消除的方法

摘要

本发明属于计算机视觉技术与数字图像处理领域,本发明提出了一种基于光度值比例关系的鬼影消除算法，在动态场景中检测出移动物体的区域。主要包括四个步骤：步骤1：推导光度值比例关系，步骤2：亮度统一化，步骤3.生成鬼影检测二值图，步骤4.多分辨率融合过程。我们的方法充分利用了亮度和曝光时间之间的线性比例关系。该方法比现有的鬼影消除算法更有效地检测到鬼影，尤其是当参考图像曝光质量不好或者存在大片过饱和区域时仍然能够得到很好的鬼影消除效果。

主权项

1.一种高动态范围图像鬼影消除的方法，其特征在于，包括如下步骤：步骤1：推导光度值比例关系输入N副待处理的图像(N≥3，N为自然数)，根据图像中每个像素的亮度值与场景的辐射度和曝光时间具有相关性，推导出光度值比例关系：其中：I亮度值，L场景的辐射度，h成像镜头的焦距，φ光轴偏离主射线的角度，E图像的曝光度，d镜头的光圈大小，t曝光时间；如果成像系统没有噪声，在任意位置(x,y)处亮度值I与曝光时间t是线性相关的，即：Ik,x,y＝Cx,ytk              (2)其中，第k(k＝1…N，N为自然数)幅图像的曝光时间为tk，Ik,x,y是第k幅图像在(x,y)处的亮度值，Cx,y是在(x,y)位置亮度值和曝光时间之间的比例系数；对于任意两个不同位置的像素(x,y)(x′,y′)和任意两幅曝光图像Ek和Ek′，令ΔIk,k′,x,y＝Ik′,x,y‑Ik,x,y并且Δtk,k′＝tk′‑tk，我们推导出下面的关系：令H和W分别为每幅图像的高度和宽度，继续推导出下面的关系：其中是第k幅图像中所有像素的平均亮度值；是所有比例系数的平均值；即：这意味着，在(x,y)位置处，任意两幅曝光图像亮度值的变化与它们整幅图像平均亮度的变化之间的比值是恒定的，与k和k′是无关的；步骤2：亮度统一化得到了步骤1中的光度值比例关系后，从N副图像中选定1幅参考图像和2幅指导图像，然后将除参考图像之外的所有图像每个位置的像素亮度统一到参考图像的亮度水平；实际上是计算出当不存在移动物体时，每幅图像的每个像素在参考图像的曝光度下的亮度值；将2幅指导图像中任意一幅图像的亮度统一到与参考图像相同的亮度水平，完成统一化过程；令I′k,x,y为第k幅图像在(x,y)处统一化后的亮度值，由公式(5)可以得到：输入图像序列是经过配准的，所以用户只需要通过观察选出两幅没有发生移动的图像作为指导图像即可；在亮度信息被丢失的曝光过度或曝光不足的区域，光度线性关系也是不准确的,进行如下处理：对于同一位置(x,y)的k个曝光度不同的像素，排除不可用的像素，只对剩余的可用像素进行光度值比例关系的计算；如果当前图像在(x,y)处是曝光过度的，或者在(x,y)处是曝光不足的，那么当前图像在此位置处被视为不可用的，对不可用像素的曝光序号用最近邻可用像素的曝光序号进行替代；具体实现方法是：首先，对N副图像进行按照曝光度从低到高进行排序，从E1到EN遍历每幅输入图像，并且如果当前图像的下一幅曝光图像不是曝光不足的，则遍历过程结束，记下当前的图像号为m(x,y)；同样的，从EN到E1倒序遍历每幅输入图像，直到下一幅图像不是曝光过度的，记下当前的图像号为n(x,y)；如果I_k,x,y＜0.05，这个像素是曝光不足的；如果I_k,x,y＞0.95，这个像素是曝光过度的；最后得到在范围[m(x,y)，n(x,y)]中的图像为像素(x,y)的可用曝光图像；使用表示每个像素(x,y)更新后的第k幅图像号；其中，如果k∈[m(x,y),n(x,y)]，则如果k＜m(x,y)，则如果k＞n(x,y)，则对参考图像Eref或者指导图像Ep和Eq中的每个像素，也替换为相应的更新后的曝光图像号：步骤3.生成鬼影检测二值图当每幅图像的亮度水平被统一化到参考图像以后，采用差分法检测出运动区域，具体方法是：首先，得到N幅差分图，差分图由每幅亮度统一化后的图像亮度I′k,x,y与参考图像亮度Iref,x,y对应像素的差值得到；其中，图像亮度值由Lab颜色空间的L通道得到；然后，将每幅差分图阈值化，得到N幅检测移动物体的二值图像，阈值化的具体方法是：如果|I′k,x,y‑Iref,x,y|≥T，意味着这幅图像的像素(x,y)处于移动区域，检测后的二值图像Mk,x,y记为0；反之，如果|I′k,x,y‑Iref,x,y|＜T，意味着像素(x,y)在普通的静态区域中，记为Mk,x,y＝1；此时，检测得到的二值图像存在噪声，孤立点和孔洞；因此使用形态学图像处理方法来处理；首先，采用侵蚀操作来消除噪声和孤立点，然后采用膨胀运算将孔洞填充：其中，为侵蚀操作，滤波器B₁的大小为5×5；为膨胀操作，滤波器B₂的大小为9×9；M’表示经过了形态学图像处理的二值图像；步骤4.多分辨率融合过程通过步骤3得到形态学图像处理后的鬼影检测二值图像后，采用基于拉普拉斯金字塔的多分辨率曝光融合方法进行融合；在计算融合权重图的时候，除了根据原来的三种质量衡量因子对比度、饱和度、曝光适中度，这三个因子都有现成的计算方法之外，还要结合步骤3得到的鬼影检测二值图像，最终得到融合权重图Wk,x,y；计算融合权重图的公式如下：其中，Ck,x,y，Sk,x,y，Ek,x,y分别为(x，y)像素点的对比度值，饱和度值，曝光适中度值；得到融合权重图后，再将每幅输入图像分解成拉普拉斯金字塔，并建立每幅融合权重图的高斯金字塔，并通过逐层加权平均得到融合后的拉普拉斯金字塔，最后，重建加权平均后的拉普拉斯金字塔得到无鬼影的融合图像F。