[发明专利]图像处理设备、图像处理方法以及程序

说明书

技术领域

本公开涉及图像处理设备、图像处理方法以及程序。具体地，本公开涉及生成具有高动态范围(宽动态范围)的图像的图像处理设备、图像处理方法以及程序。

背景技术

在摄像机或数字照相机中使用的诸如CCD(电荷耦合器件)图像传感器或CMOS(互补金属氧化物半导体)图像传感器之类的固态图像拍摄装置通过累积与入射光的量相应的电荷并且输出与所累积的电荷相对应的电信号来执行光电转换。然而，存在对能够在光电转换元件中累积的电荷的量的限制，使得当已经接收到某一光量时，达到饱和水平，导致具有某一亮度或更高亮度的拍摄物体区域被设置为饱和亮度水平，即被称为“过曝高亮部分(blown out highlights)”或“裁剪(clipping)”的问题。

为了防止裁剪，执行以下处理：根据来自外部的光的改变等来控制光电转换元件的电荷累积时段，以调整曝光时长并且从而优化灵敏度。例如，通过对于明亮拍摄物体使用高快门速度来缩短曝光时长，缩短了光电转换元件的电荷累积时段并且在累积的电荷的量达到饱和水平之前输出电信号。通过执行这样的处理，可以输出其中为拍摄物体正确地再现了色调的图像。

然而，如果当对存在亮区和暗区二者的拍摄物体进行拍摄时使用高快门速度，则对于暗区而言曝光时长将是不足的，这将导致S/N比的恶化和图像质量的下降。为了正确地再现在包括亮区和暗区二者的拍摄物体的拍摄图像中的亮区和暗区的亮度水平，有必要对图像传感器上存在很少入射光的像素使用长时曝光以实现高S/N比，并且有必要执行处理来避免具有大量入射光的像素的饱和。

作为实现这样的处理的方法，连续地拍摄具有不同曝光时长的多个图像并且对这些图像进行混合的方法是已知的。也就是说，存在一种方法，该方法独立地且连续地拍摄长时曝光图像和短时曝光图像，并且对于暗图像区使用长时曝光图像以及对于具有长时曝光图像中的过曝高亮部分的亮图像区使用短时曝光图像来执行混合处理以生成单个图像。通过这种方式，通过组合具有不同曝光的多个图像，可以获得没有过曝高亮部分的宽动态范围的图像，即高动态范围(HDR)图像。

作为一个示例，日本特开专利公报No.2000-50151公开了一种配置，该配置拍摄其中设置了多个不同的曝光时长的两个图像并且通过组合这样的图像来获得HDR图像。现将参考图1对这样的处理进行描述。例如，图像拍摄装置在运动图像的拍摄期间输出具有视频速率(30-60 fps)内的两种不同曝光时长的图像数据。同样地在静止图像的拍摄期间，生成并且输出具有两种不同曝光时长的图像数据。图1是用于说明由图像拍摄装置生成的具有两种不同曝光时长的图像(即，长时曝光图像和短时曝光图像)的特性的图。横轴示出了时间(t)，纵轴示出了在构成与固态图像拍摄元件的一个像素相对应的光电转换元件的光接收光电二极管(PD)中的累积电荷(e)。

例如，如果光接收光电二极管(PD)接收到大量的光，即当拍摄物体是亮的时，则随着时间的推移存在所累积的电荷的突然上升，如图1中所示出的高亮度区域11中所示。同时，如光接收光电二极管(PD)接收到少量的光，即当拍摄物体是暗的时，则随着时间的推移存在所累积的电荷的逐步上升，如图1中的低亮度区域12中所示。

时间t0至t3对应于用于获取长时曝光图像的曝光时长TL。即使当设置了这个长时曝光时长TL时，也如能够从示出低亮度区域12的线所理解的，所累积的电荷即使在时间t3处也将未达到饱和水平(非饱和点Py)，这意味着从使用基于这样的累积电荷Sa获得的电信号而决定的像素的色调水平实现了准确的色调再现。

然而，根据示出高亮度区域11的线，清楚的是所累积的电荷将在到达时间t3之前已经达到饱和水平(饱和点Px)。因此，对于这样的高亮度区域11，仅能够从长时曝光图像获得与具有饱和水平的电信号相对应的像素值，导致像素成为过曝高亮部分。

为此，在高亮度区域11中，在到达时间t3之前的一个时间处，例如在图1中的时间t1(电荷清扫开始点P1)处，在光接收光电二极管(PD)中累积的电荷被扫除。电荷的这种清扫不扫除在光接收光电二极管(PD)中累积的所有电荷，并且被假定为将电荷减少到在光接收光电二极管(PD)中控制的中间电压保持水平。在这种电荷清扫处理之后，再次以曝光时长TS(t1至t2)进行短时曝光。也就是说，在从图1中所示出的短时曝光开始点P2至短时曝光结束点P3的时段内进行短时曝光。累积电荷(Sb)是通过这个短时曝光而获得的，并且根据基于该累积电荷(Sb)获得的电信号来决定像素的色调水平。