[发明专利]图像处理装置及图像处理方法

说明书

本申请是申请日为2010年4月21日、申请号为201010152969.2、发明名称为“图像处理装置及图像处理方法”的发明专利申请的分案申请。

技术领域

本发明涉及对由摄像光学系统引起的拍摄图像的模糊(blur)进行校正的图像处理装置及图像处理方法。

背景技术

在诸如数码相机或数字摄像机的摄像装置中，由镜头等构成的摄像光学系统将来自被摄体的光导至用作摄像设备的CCD或CMOS传感器上，以形成图像。摄像设备将接收到的光转换为电信号。电信号经过用于将电信号转换为图像数据所需的诸如模拟-数字(A/D)转换以及去马赛克(demosaicing)的处理，由此获得拍摄图像。

由于到达摄像设备的光通过了摄像光学系统，因此摄像设备影响拍摄图像的图像质量。例如，当使用高性能镜头时，能够获得在周边区域都具有高分辨率的拍摄图像。另一方面，如果使用低成本的低性能镜头，则拍摄图像的分辨率尤其在周边区域明显降低。

例如，当拍摄星空的图片时，通过高性能镜头拍摄的图像将每颗星几近显示为点图像。然而，在通过低性能镜头拍摄的图像中，每颗星不是显现为点图像而是发生模糊(blur)。当拍摄人物图片时，高性能镜头的使用使得人们能够获得清晰到每根头发的图像。然而，低性能镜头仅能获得头发模糊作一片的图像。即，通过低性能镜头获得不清晰的图像。

这种模糊取决于摄像光学系统的特性，即使在对焦状态也会发生。换句话说，即使在对焦状态，拍摄图像的分辨率也根据镜头的性能而改变。

有一种通过对拍摄图像进行图像处理来校正由摄像光学系统引起的图像模糊的方法。在该方法中，基于摄像光学系统的模糊特性(预先获取作为数据)来执行图像处理，由此校正由摄像光学系统引起的图像模糊。

为了获得摄像光学系统的模糊特性作为数据，例如使用PSF(PointSpread Function，点扩散函数)。PSF表示被摄体的点如何发生模糊。例如，在黑暗中经由摄像光学系统拍摄体积非常小的发光体(点光源)。如果使用理想的摄像光学系统，则光在摄像设备的面(受光面)上形成点图像。然而，如果使用引起大的模糊的摄像光学系统，则光在受光面上形成的不是点图像而是扩散到某一程度的图像。即，光在受光面上的二维分布与摄像光学系统的PSF相对应。当实际获取摄像光学系统的PSF时，不总是需要拍摄诸如点光源的被摄体。基于通过拍摄获得的图像，例如具有黑白边缘的图，可以使用与该图相对应的计算方法来计算PSF。

作为通过PSF校正图像模糊的方法，已知一种使用逆滤波器(inversefilter)的方法。为了描述方便，假定在黑暗中拍摄点光源的情况。当使用会引起模糊的摄像光学系统时，点光源发出的光在受光面上形成扩散到某一程度的光分布。摄像设备将光转换为电信号。将该电信号转换为图像数据，由此获得点光源的数字图像。在使用会引起模糊的摄像光学系统获得的图像中，不仅与点光源相对应的一个像素具有有效的非零像素值。周围的像素也具有接近于零的有效的像素值。将该图像转换为具有几乎在一个点上的有效的像素值的图像的图像处理是逆滤波。逆滤波器使得能够获得如同使用极少引起模糊的摄像光学系统所拍摄的图像。

以上为了说明而以点光源为例。将来自被摄体的光看作许多点光源的集合，消除从被摄体的各个点发出或由被摄体的各个点反射的光的模糊，由此即使对于点光源以外的被摄体也获得极少模糊的图像。

接下来将描述构造逆滤波器的详细方法。将使用理想的无模糊的摄像光学系统获得的拍摄图像定义为f(x，y)，其中x和y是图像上的二维像素位置，f(x，y)是像素(x，y)的像素值。将使用会引起模糊的摄像光学系统获得的拍摄图像定义为g(x，y)。会引起模糊的摄像光学系统的PSF由h(x，y)表示。则f、g以及h具有由下式给出的关系：

g(x，y)=h(x，y)*f(x，y)    …(1)

其中，*表示卷积运算。

校正图像模糊(以下称为模糊校正)相当于根据使用会引起模糊的摄像光学系统获得的图像g以及作为该摄像光学系统的PSF的h来推算使用无模糊的摄像光学系统获得的f。当对公式(1)应用傅立叶(Fourier)变换以获得在空间频域中的表现形式时，可以将其写为如下式所给出的各频率的积：

G(u，V)=H(u，v)·F(u，v)…(2)

其中

H是作为PSF的傅立叶变换的OTF(Optical Transfer Function，光学传递函数)，

u是x方向上的空间频率，

v是y方向上的空间频率，