[发明专利]图像生成方法以及图像生成设备

说明书

技术领域

本发明涉及一种图像生成方法以及图像生成设备。

背景技术

已经提出一种摄像设备，其摄像镜头的出射光瞳被分割为多个光瞳区域，并且能够同时拍摄与分割出的光瞳区域相对应的多个视差图像。

美国专利4410804公开了一种使用二维图像传感器的摄像设备，在该二维图像传感器中相对于一个像素形成一个微透镜以及多个分割的光电转换器。分割的光电转换器被配置为以使得经由一个微透镜来接收来自摄像镜头的出射光瞳的不同光瞳子区域的光，并且由此进行光瞳分割。根据由于在分割的光电转换器中的光接收而获得的信号，能够生成与分割的光瞳子区域相对应的多个视差图像。日本特开2001-083407公开了通过将由于在分割的光电转换器中的光接收而获得的全部信号相加到一起来生成拍摄图像。

所拍摄的多个视差图像等同于光场(LF)数据，该LF数据是与光强度的空间分布和角度分布相关的信息。Stanford Tech Report CTSR 2005-02，1(2005)公开了一种再聚焦技术，其中通过使用已获取的LF数据在与摄像面不同的虚拟成像面处合成图像，来在摄像之后修改所拍摄图像的聚焦位置。

然而，尽管由于将摄像镜头的出射光瞳分割为多个区域因而能够在上述传统示例中同时获取多个视差图像，但是存在根据视差图像所生成的拍摄图像的空间分辨率低下的问题。

发明内容

考虑到上述问题而作出本发明，并且本发明根据多个视差图像生成具有高空间分辨率的拍摄图像。

根据本发明的第一方面的图像生成方法是一种用于根据图像传感器所获取到的输入图像来生成输出图像的图像生成方法，其中，所述图像传感器具有多个像素的阵列，所述多个像素各自设置有多个子像素，所述多个子像素各自接收穿过摄像光学系统的不同光瞳子区域的光束，所述图像生成方法包括以下步骤：基于所述输入图像生成分别与所述不同光瞳子区域相对应的多个视差图像的步骤；根据与配置有所述图像传感器的摄像面不同的、所述摄像光学系统的虚拟成像面，针对所述多个视差图像各自进行不同的移位，来生成多个像素移位图像的步骤；以及通过合成处理，根据所述多个像素移位图像来生成具有比所述多个视差图像的分辨率高的分辨率的输出图像的步骤。

此外，根据本发明的第二方面，一种程序使计算机执行上述的图像生成方法的步骤。

此外，根据本发明的第三方面，一种计算机可读取的存储介质存储用于使计算机执行根据上述的图像生成方法的步骤的程序。

此外，根据本发明的第四方面，一种图像生成设备，包括：图像传感器，用于获取输入图像，其中，所述图像传感器具有多个像素的阵列，所述多个像素各自设置有多个子像素，所述多个子像素各自接收穿过摄像光学系统的不同光瞳子区域的光束；第一生成部件，用于基于所述输入图像而生成分别与所述不同光瞳子区域相对应的多个视差图像；第二生成部件，用于根据与配置有所述图像传感器的摄像面不同的、所述摄像光学系统的虚拟成像面，针对所述多个视差图像各自进行不同的移位，来生成多个像素移位图像；以及合成部件，用于通过合成处理，根据所述多个像素移位图像来生成具有比所述多个视差图像的分辨率高的分辨率的输出图像。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明的实施例的摄像设备的示意结构图。

图2是示出根据本发明的实施例的像素阵列的示意图。

图3A和3B是根据本发明的实施例的像素的示意平面图和示意截面图。

图4是用于说明根据本发明的实施例的像素和光瞳分割的示意图。

图5是用于说明根据本发明的实施例的图像传感器和光瞳分割的示意图。

图6是根据本发明的实施例能够获取的子像素与角度信息之间的关系的示意图。

图7是用于说明根据本发明的实施例的可再聚焦范围的图。

图8是根据本发明的第一实施例的图像生成的流程图。

图9是用于说明根据本发明的实施例的在视差图像中的像素移位的图。

图10示出根据本发明的实施例的在输出图像与像素移位图像之间的关系表达式的示例。

图11是根据本发明的第二实施例的图像生成的流程图。

具体实施方式

以下将参考附图详细来描述本发明的实施例。

第一实施例