[发明专利]图像处理设备、图像处理方法和程序

说明书

技术领域

本公开涉及一种图像处理设备、一种图像处理方法和程序。具体而言，本公开涉及生成具有高动态范围(宽动态范围)的图像的图像处理设备、图像处理方法和程序。

背景技术

固态图像拾取装置，诸如在摄像机或数字照相机中使用的CCD图像传感器或CMOS(互补金属氧化物半导体)图像传感器，通过积累与入射光照量一致的电荷并输出与积累的电荷相应的电信号来进行光电转换。然而，光电转换元件中能够积累的电荷量是有局限的，使得在已接收了一定量的光线时就达到了饱和水平，造成对象具有一定亮度或更亮的区域处于饱和亮度水平，这个问题被称作“高光部分过曝”或“裁剪”。

为了防止裁剪，要进行处理以根据外来光线变化等控制光电转换元件的电荷积累时间段，从而调整曝光时长并由此优化敏感度。例如，通过使用高速快门来缩短对明亮对象的曝光时长，减少了光电转换元件的电荷积累时间段，并且在积累的电荷量达到饱和水平之前输出电信号。通过进行上述处理，有可能输出适当再现对象色调的图像。

然而，若在对存在亮区和暗区的对象进行拍摄时使用了高的快门速度，曝光时间对于暗区则不足，这会造成信噪比降低和图像质量下降。为了适当再现包括亮区和暗区的对象的拍摄图像中的亮区和暗区的亮度水平，有必要对图像传感器上有很少入射光的像素进行长时曝光以实现高信噪比，并进行处理以避免具有大量入射光的像素饱和。

一种实现该处理的已知方法是连续拾取多个具有不同曝光时间段的图像，然后将这些图像组合。也就是说，长时曝光图像和短时曝光图像是分开地连续拾取的，并且进行对暗图像区使用长时曝光图像和对亮图像区使用短时曝光图像(若使用长时曝光图像会发生裁剪)的组合处理，以产生单个图像。以此方式，通过将多个不同曝光的图像组合，有可能产生具有高动态范围的无裁剪的图像，也就是说具有宽动态范围的图像(HDR图像)。

例如，日本专利特开平No.2000-50151公开了一种用于通过连续拾取两个具有不同曝光时间段的图像然后将这些图像组合而产生宽动态范围图像的配置。参照图1说明该处理。图像拾取装置，例如在拍摄视频时，在一视频速率(30-60fps)内输出具有不同曝光时间段的两个图像。此外，在拍摄静态图像时也产生和输出具有不同曝光时间段的两个图像。图1描绘了由图像拾取装置产生的具有不同曝光时间段的图像(长时曝光图像和短时曝光图像)的特征。水平轴为时间(t)，垂直轴为在组成光电转换元件的接收光线的光二极管(PD)中与固态图像拾取元件的一个像素相应的积累电荷量(e)。

例如，当接收光照的光二极管(PD)接收很多光线时，也就是说在明亮对象的情况下，积累的电荷量随着时间流逝而急剧增加，如图1所示的高亮度区11所示。同时，当接收光线的光二极管(PD)接收较少光线时，也就是说在暗对象的情况下，积累的电荷量随着时间流逝而缓慢增加，如图1所示的低亮度区12所示。

时间t0至t3对应于曝光时间TL以产生长时曝光图像。由低亮度区12示出为该长时曝光时间TL的线可以获得精确色调，达到使用基于在不达到饱和水平(非饱和点Py)的条件下积累的电荷量(Sa)获得的电信号而确定的色度。

然而，由高亮度区11示出的线表明在时间t3之前，积累的电荷就已经达到了饱和水平(饱和点Px)。因此，该高亮度区11仅获得与来自长时曝光图像的饱和水平的电信号相应的像素值，并因此变为裁剪像素。

在该高亮度区11中，接收光照的光二极管(PD)的积累电荷在到达时间t3之前，例如在图1所示的时间t1(电荷扫描(sweeping)起始点P1)时，被扫除一次。进行电荷扫描是达到光二极管(PD)中控制的保持中间电压的水平，而不是对接收光照的光二极管(PD)中积累的所有电荷进行电荷扫描。在电荷扫描之后，再次进行短时曝光，持续曝光时间(t1至t2)。也就是说，进行了如图所示的从短时曝光起始点P2至短时曝光结束点P3之间的短时曝光。通过该短时曝光获得了积累的电荷量(Sb)，并且基于积累的电荷量(Sb)获得了电信号，基于该电信号确定了像素的色度。

另外，当通过在低亮度区12中的长时曝光获得积累的电荷量(Sa)，基于积累的电荷量(Sa)获得电信号，并通过在高亮度区11中的短时曝光获得积累的电荷量(Sb)，基于积累的电荷量(Sb)获得电信号，基于这些电信号确定像素值时，计算出当已曝光了相同时间时的估计的积累电荷量或与估计的积累电荷量相应的电信号输出值，并基于计算结果确定像素水平。

以此方式，有可能通过将短时曝光图像与长时曝光图像组合而产生具有高动态范围的无裁剪的图像。