[发明专利]摄像装置及其控制方法

说明书

技术领域

本发明涉及一种用于对拍摄图像数据进行针对由于卷帘快门方法而产生的失真的校正处理的技术。

背景技术

诸如摄像机及数字照相机等摄像装置的尺寸和重量一直在不断减小，这使得利用便携式摄像装置来拍摄图像数据的机会增加。近年来，互补金属氧化物半导体（CMOS）传感器已被用于此类摄像装置的图像传感器。这主要是因为CMOS传感器具有如下的优点，即这类传感器能够容易地实现成本降低以及像素数的增加，并且这类传感器的功耗低。

然而，将CMOS传感器用作图像传感器可能导致如下的结果，即除拍摄图像数据的振动之外，还由于照相机抖动或者被摄体的运动（或被摄体的抖动）而产生失真。当将电荷耦合器件（CCD）用作图像传感器时，则不会发生这种现象。

大部分CMOS传感器被配置为通过卷帘快门方法读出图像数据，在该方法中，逐个像素或逐条线地（通常在水平方向上，或者有时在垂直方向上）依次读出图像数据。根据这种卷帘快门方法，各像素或各条线被曝光不同的曝光时间段。然而，在逐个像素地依次读出图像数据的情况下，与线间的曝光开始时间差相比，在一条线中仅产生小到能够忽略的像素间曝光开始时间差。因此，在下面的描述中，将把逐个像素地读出图像数据，视为具有与逐条线地读出图像数据相同的问题。

当由卷帘快门型的传感器来拍摄图像数据时，如果在从画面中的顶线到底线的曝光时段中，被摄体运动或者照相机抖动，则由于各条扫描线的曝光时段的时间差，而导致该被摄体的图像发生变形，并且这表现为失真。在下文中，将这种失真称为卷帘快门失真。

对此，一种可能的解决方案是配设作为CCD的标准功能的全局快门功能。另一种可能的解决方案是提供多个电路，这些电路用于读出像素数据，从而并行地使用这些像素数据，或者将这些电路中的各个分配给图像数据中的各区域，由此加快读出操作，进而减小曝光时段之间的时间差。

然而，前一种解决方案需要像素数的数倍的晶体管，从而导致成本增加。此外，该提案由于妨碍了像素的开口率（aperture ratio）的增加，因此存在对图像质量本身产生不利影响的问题。因此，该解决方案的采用局限于一些被设计用于测量的摄像装置。另一方面，对于后一种解决方案，因为图像数据的像素数不断增加，所以为了提供足以减小曝光时段间的时间差的大量读出电路，导致成本增加。

因此，作为用于校正卷帘快门失真的方法，依赖于图像处理的校正成为主导。已提出了各种方法作为卷帘快门失真校正处理。例如，这些方法中的许多被配置为通过对图像数据进行几何变形，来实现卷帘快门失真校正处理，如在日本专利申请特开第2006-186481号公报中所讨论的。

另一方面，摄像装置包括检测摄影操作的传感器，所述摄影操作涉及诸如陀螺仪及加速度传感器等的摄像装置的旋转和移动。在图像分析中，利用分析技术在多个连续的图像数据之间，计算或估计摄影操作（自身运动）、全局运动以及被摄体的运动。在CVPR2010中提出的由Simon Baker等撰写的“去除卷帘快门摇晃”（"Removing Rolling Shutter Wobble"written by Simon Baker et.al.presented in CVPR2010）讨论了通过运动的多项式插值与图像数据之间的拟合处理来获取运动信息的方法。

简单的校正方法是如下的方法，即在仅着重于水平方向和垂直方向上的图像数据的平移运动的同时，进行卷帘快门失真校正处理。另一方面，复杂的校正方法是如下的方法，即根据诸如运动估计结构（Structure From Motion，SFM）等的现有原理，而虑及所有类型的摄影操作以及被摄体的深度位置。另一种复杂的校正方法是如下的方法，即在区分被摄体的运动以估计或计算运动信息的同时，进行卷帘快门失真校正处理。以这种方式，卷帘快门失真校正处理通过考虑各条线的曝光时段的时间差，计算能够抵消该时间差的几何变形，并将该几何变形应用于图像数据，来进行能够减少卷帘快门失真的校正。

关于时间方向，也存在仅针对由如下运动产生的失真（一般被归类为切变（shear））的简单方法，所述运动作为一个帧中的曝光时段期间的运动，能够被认为具有恒定的方向及大小。另一方面，还存在针对由在帧周期内方向及大小不恒定而是可变的运动产生的失真（被归类为摇晃（wobble）或果冻效果（jello effect））的方法。