[发明专利]图像处理装置和图像处理方法

说明书

技术领域

本公开涉及图像处理装置和方法、记录介质和程序，具体而言涉及可用来控制多视点图像的立体效果的图像处理装置和方法、记录介质和程序。

背景技术

迄今，已提出和开发了各种成像装置。另外，已提出了如下的成像装置：其对通过成像获得的成像数据执行预定的图像处理，然后输出成像数据。

例如，已提出了采用所谓的“光场摄影”的成像装置，其被称为“光场相机”(例如参见2009-165115号日本未实审专利申请公布)。此成像装置包括成像透镜、微透镜阵列、成像器件和图像处理单元，其中具有单个开口的开口光圈被设于成像透镜的中央部。由于此配置，由成像器件获取的成像数据除了光接收面处的光的强度分布以外还包括光行进方向的信息。该配置还允许了在图像处理单元处重构任何视野或焦点处的观察图像。

对于微透镜阵列设有多个微透镜，其中向每个微透镜指派了成像器件的多个像素。因此，例如，通过收集每一个与每个微透镜处于相同位置的像素的像素值，可以获得通过执行每一个来自相同方向的入射光的光电转换而获得的图像数据(即，来自一个方向的图像)。以相同的方式，通过根据像素值的位置管理像素值，可以获得彼此不同的视点的多个图像(即，多视点图像)。

发明内容

然而，在此情况下，多视点图像的视差(parallax)量依从于成像透镜的光圈的孔径，以及指派给微透镜的成像器件的像素的数目。因此，在利用这种成像装置获得的多视点图像中，成像透镜的大小的限制和分辨率的劣化的抑制导致了视差量的不足，因此充分大的视觉立体效果(深度感)是困难的。

已发现，希望使得能够控制多视点图像的立体效果，以获得更适当水平的立体效果。

根据本公开的一个实施例，一种图像处理装置，包括：视点分离单元，被配置为将包括多个视点的图像并且根据像素的位置和像素值表示光的强度分布和光的行进方向的多视点图像数据分离成各个视点中的每个视点的多个单视点图像数据；以及视差控制单元，被配置为控制通过由视点分离单元分离成各个视点而获得的多个单视点图像数据之间的视差量。

视差控制单元可通过向每个单视点图像数据加上微分信号或从每个单视点图像数据中减去微分信号来控制视差量，该微分信号是通过执行单视点图像数据的微分来获得的。

视差控制单元可检测指示要控制的对象的视差量的差异(disparity)，并且基于检测到的差异，校正微分信号并且通过向每个单视点图像数据加上校正后的微分信号或从每个单视点图像数据中减去校正后的微分信号来控制视差量。

图像处理装置还可包括：超分辨率(super-resolution)处理单元，被配置为对通过由视点分离单元分离成各个视点而获得的多个单视点图像数据中的每一个执行将图像分辨率提升到高分辨率的超分辨率处理；其中，视差控制单元控制分辨率被超分辨率处理单元提升到了高分辨率的多个单视点图像数据之间的视差量。

超分辨率处理单元可检测每个视点之间的指示视差量的差异，并且利用检测到的差异来执行单视点图像数据的超分辨率处理。

视差控制单元可利用由超分辨率处理单元检测到的差异来控制视差量。

图像处理装置还可包括：噪声降低处理单元，被配置为对分辨率被超分辨率处理单元提升到了高分辨率的多个单视点图像数据中的每一个执行降低噪声的噪声降低处理；其中，视差控制单元控制被噪声降低处理单元降低了噪声的多个单视点图像数据之间的视差量。

噪声降低处理单元可利用处理前后的图像执行运动检测，利用检测到的运动向量对处理后的图像执行运动补偿，并且计算以下各项的算术平均：经历了运动补偿的处理后的图像，以及处理前的图像。

噪声降低处理单元可使用检测到的运动向量来对多个单视点图像数据中的每一个执行噪声降低处理。

图像处理装置还可包括：超分辨率和噪声降低处理单元，被配置为对通过由视点分离单元分离成各个视点而获得的多个单视点图像数据中的每一个执行：将图像的分辨率提升到高分辨率的超分辨率处理，以及降低噪声的噪声降低处理；其中，视差控制单元控制由超分辨率和噪声降低处理单元将分辨率提升到了高分辨率并降低了噪声的多个单视点图像数据之间的视差量。

超分辨率和噪声降低处理单元可对多个单视点图像数据的每个超分辨率处理结果执行噪声降低处理，并且利用噪声降低处理结果执行超分辨率处理。

图像处理装置还可包括：初始图像生成单元，被配置为利用要处理的关注帧的图像和在关注帧之前处理的过去帧的图像来生成初始图像；其中，超分辨率和噪声降低处理单元利用由初始图像生成单元生成的初始图像来执行超分辨率处理。