[发明专利]拍摄装置、图像处理装置、图像处理方法

说明书

技术领域

本发明涉及对按照时间序列拍摄的多帧的图像数据进行比较亮合成的拍摄装置、图像处理装置、图像处理方法。

背景技术

近年来，提出有搭载了比较亮合成处理功能的数字照相机等拍摄装置。这里，比较亮合成处理是比较按照时间序列拍摄的多帧图像中的同一像素位置的像素值，并由值较大的一方的像素值置换该像素位置的像素值的处理。

该比较亮合成处理在包含比较亮且较小的移动体的拍摄场景中，针对以所需的充分短的固定快门速度(因此，快门速度在各个图像中相同)按照时间序列拍摄(所谓连续拍摄)而获得的多帧图像来使用，能够取得移动体的轨迹作为S/N高的良好的图像。

如果列举适用的拍摄场景的若干个例子，则存在烟花、天体拍摄、夜间的汽车等的头灯的移动轨迹的拍摄等。

在例如烟花拍摄的情况下，以短于数秒的快门速度按照时间序列拍摄构成烟花的辉点的数秒的流动来取得多帧图像。此外，在天体拍摄的情况下，以短的快门速度按照时间序列拍摄构成天体的星星的非常慢的运动来取得多帧图像。而且，在夜间的汽车等的头灯的移动轨迹的情况下，也同样以比与想要拍摄的移动轨迹的长度对应的快门速度短的快门速度按照时间序列拍摄来取得多帧图像。

并且，在任意一个情况下，通过对获得的多帧图像进行比较亮合成，都能够避免如以长时间的快门速度进行拍摄时那样的由于暗电流造成的画质劣化，能够获得S/N较好的图像。

但是，将图像噪声分为由每个像素的特性引起的固定模式噪声、和不具有与像素位置的相关的随机噪声。它们中的随机噪声大致分为：与像素中的根据入射光并通过光电转换而产生的信号无关地产生的(因此，即使在被遮光的状态也产生的)暗时随机噪声、和根据通过光电转换而产生的信号产生的(因此，在被遮光的状态不产生的)亮时随机噪声。

这些暗时随机噪声与亮时随机噪声的大小关系通过照相机的曝光控制，取决于电气增益。具体来说，在电气增益的放大量较小的情况(曝光量大，不太需要进行放大的情况)下，由于各个像素中的通过光电转换而获得的像素值比较大，因此亮时随机噪声增大而成为主导，在电气增益的放大量较大的情况(曝光量小，需要进行放大的情况)下，由于各个像素中的通过光电转换而获得的像素值比较小，因此亮时随机噪声变小，暗时随机噪声成为主导。

暗时随机噪声作为由像素的光电二极管的暗电流引起的噪声或者作为电路噪声等而产生，不仅包含在从有效像素得到的像素值中，还包含在从摄像元件的摄像面上的被光学式遮光的光学黑体(OB)区域得到的OB成分中。由于在OB成分中不包含对入射光进行光电转换而产生的信号，进而也不包含亮时随机噪声，所以使用OB成分比起使用从有效像素得到的像素值，能够更容易高精度地检测暗时随机噪声。

该暗时随机噪声的值按照每个帧随机发生变动。当进行比较亮合成处理时，虽然生成了采用在拍摄获得的多帧中的最大的像素值而得到的1个比较亮图像，但是由于包含最大的随机噪声的像素值成为最大像素值的概率较高，所以帧数越大越置换为受到较大的随机噪声的影响的较大的值。

与此相对，如果针对从OB区域得到的OB成分也能够与有效像素区域同样进行比较亮合成处理，则由于采用与帧数的大小相应的大小的像素值，所以通过进行从有效像素区域的比较亮图像中减去进行了比较亮合成处理后的OB成分的减法处理，能够有效消除随机噪声的影响。

例如，在日本特开2013-240029号公报中记载了以下技术：在从合成图像中去除偏置成分的数字钳形(digital clamp)处理中，根据摄影图像的合成张数来控制数字钳形量，由此来应对与RAW图像的如比较亮合成和比较暗合成的图像合成的合成张数对应的黑电平的变动，从而抑制合成图像的画质下降。在该公报中还记载了：根据摄影感光度、白平衡、曝光时间、周边光量的校正量和环境温度中的至少1方，来控制数字钳形量。

但是，在图像中存在移动被摄体的情况下，产生以下这样的状况：即使拍摄了例如100帧的图像，移动被摄体存在于某个像素位置的仅是50帧的图像。在移动被摄体比背景亮的情况下，移动被摄体中作为比较亮合成的对象被有效使用的是50帧的图像，但是在该情况下，移动被摄体和对100帧的图像进行比较亮合成而得到的背景相比，比较亮图像的像素值受到随机噪声的影响的程度不同。因此，当从合成50帧的图像而得到的移动被摄体的图像部分中减去合成100帧的图像而得到的OB成分(包含暗时随机噪声)时，减法量过剩，从而产生减法噪声。这样，存在产生相对于移动被摄体的OB减法偏移(黑电平的偏置校正偏移)的课题。