[发明专利]成像装置、图像处理方法和计算机程序

说明书

背景技术

本发明涉及一种具有多个成像元件的成像装置、图像处理方法和计算机程序，具体地讲，涉及一种关联由成像元件获得的捕捉图像的成像装置、图像处理方法和计算机程序。

替代于使用胶卷或照相底片捕捉图像的银盐照相机，已广泛使用以数字方式对由固态成像元件(诸如，CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等)构成的图像传感器所捕捉的图像进行编码的数字照相机。数字照相机具有这样的优点：可以把以数字方式编码的图像存储在存储器上并由计算机在其上执行图像处理和图像管理，并且不用担心胶卷的使用期限。

一些成像元件具有检测相差信息的功能。可以基于从特定光电转换单元(光电二极管)输出的一对图像信号中的相差来检测成像透镜的聚焦状态。

虽然在许多情况下对成像不熟练的人由于不熟悉操作而剧烈地移动照相机(例如，强烈的手抖动)，但许多数字照相机具有图像稳定功能。图像稳定功能包括通过图像传感器上的图像处理实现校正的电子图像稳定和利用光学透镜实现校正的机械图像稳定。

电子图像稳定是这样的校正方法：根据图像稳定的量移动从能够捕捉的最大像素区域作为捕捉图像提取的有效像素区域。根据电子图像稳定，虽然不必安装特殊机构，但存在这样的缺点：成像元件的光接收区域未被有效使用。

另一方面，通过把使用陀螺传感器或加速度传感器测量的手抖动向量的反馈发送给机械系统并执行高速控制以免在投影到图像传感器的图像中产生抖动，能够实现机械图像稳定功能。作为本文描述的机械系统，举例说明透镜、棱镜和成像器(或者与成像器集成的模块)并且它们分别称为“透镜移位”、“棱镜移位”和“成像器移位”。根据基于透镜移位方案的图像稳定，必须嵌入驱动特定透镜的特殊机构，成本变得更高，因为由于增加的尺寸而难以设计照相机透镜。另一方面，根据基于成像器移位方案的图像稳定，可以利用能够安装在照相机主体上的所有照相机透镜执行图像稳定，并且不必设计特殊照相机透镜。

近来，许多数字照相机具有多个图像捕捉单元。例如，已提出了这样的照相机装置：具有分路单元，该分路单元把光路分成多个光路，多个成像元件布置在每个光路的图像形成位置；构造为通过区分成像元件的成像尺寸从每个成像元件输出具有不同图像角度大小的图像的视频信号；能够独立地获得具有多个图像角度的图像的视频信号(例如，参见日本未审专利申请公开No.2003-304115)。

另外，已提出了这样的成像装置，该成像装置具有：副成像元件，捕捉辅助捕捉图像(诸如，将要在取景器窗口上作为实时取景显示的对象图像)；以及主成像元件，捕捉主捕捉图像(例如，参见日本未审专利申请公开No.2010-224112)。当捕捉图像时，用户能够在观看辅助捕捉图像的同时检查成帧(framing)等。

希望通过关联由每个成像单元获得的捕捉图像为具有多个成像单元的数字照相机提供新的应用。

主成像元件具有用于捕捉静止图像的高像素，而副成像元件具有低像素，因为捕捉辅助图像主要是为了实时取景(即，移动图像)。也就是说，难以关联这两种捕捉图像，因为屏幕尺寸、像素数量和像素间距在每个成像元件中是不同的。另外，由于两种成像元件的像素数量的差异所导致的不同帧速，图像捕捉定时并不完全一致。因此，如果在捕捉图像时捕捉图像的人的手抖动快于获得图像的定时，则在一些情况下变得难以在捕捉图像之间采取行动。

另外，能够布置前述图像稳定机械系统的照相机主体中的空间有限，基于成像器移位方案的图像稳定机构通常仅安装在主成像元件侧。如果仅对成像元件的一侧执行图像稳定，则进一步变得难以在捕捉图像之间进行关联。另外，由于校正误差、成像元件的位移量的计算误差和位移误差，即使在两种成像元件中都安装图像稳定机构，也难以在捕捉图像之间进行关联。

发明内容

希望提供一种能够优选地在像素级别关联并存储由多个成像元件中的每个成像元件获得的捕捉图像的极好的成像装置、图像处理方法和计算机程序。

还希望提供一种能够解决由图像尺寸、像素数量、像素间距的差异、每个成像元件的图像捕捉定时不一致、图像稳定仅应用于成像元件的一部分等导致的捕捉图像之间的偏差并且优选地在像素级别关联并记录每个捕捉图像的极好的成像装置、图像处理方法和计算机程序。