[发明专利]图像处理装置、方法以及记录介质

说明书

技术领域

本发明涉及用于校正拍摄图像中的模糊的图像恢复处理。

背景技术

在诸如数码照相机及数码摄像机等的摄像装置中，来自被摄体的光经由包括透镜等的摄像光学系统，而入射至具有诸如CCD或CMOS等多个元件的传感器。在传感器中，将已穿过摄像光学系统的光转换为电信号。通过对电信号执行诸如A/D转换处理及去马赛克处理等形成图像所需的处理，能够获得拍摄图像。

此种拍摄图像的质量受到摄像光学系统的影响。一般而言，当使用高性能透镜时，能够获得具有低模糊度的清晰图像。相反，利用低性能透镜而获得的拍摄图像发生模糊。例如，在拍摄星空的图像的情况下，如果利用实现低模糊度的透镜来拍摄图像，则单颗星看起来是清晰的点。相反，如果利用引起高模糊度的透镜来拍摄图像，则单颗星发生模糊并扩大，并且看起来不是点。

在下文中，将描述用于校正由摄像光学系统引起的拍摄图像中的模糊的图像处理方法。在该方法中，基于点扩散函数(PSF)来校正拍摄图像中的模糊。PSF代表被摄体的点如何发生模糊。例如，在黑暗中拍摄体积非常小的发光体(点光源)的情况下，传感器表面上的光的二维分布对应于摄像光学系统的PSF。

在具有低模糊度的理想摄像光学系统中，PSF是点。在具有高模糊度的摄像光学系统中，PSF不是小的点，并且被扩大到一定程度。

利用与PSF相关的数据来校正模糊的方法的示例，包括利用逆过滤器的方法。在下文中，将描述用于形成逆过滤器的方法。利用f(x，y)，来代表通过使用防止发生模糊的理想摄像光学系统而获得的拍摄图像。x和y是代表拍摄图像中的二维位置的变量，f(x，y)代表位置x，y处的像素值。另一方面，利用g(x，y)，来代表通过使用引起模糊的摄像光学系统而获得的拍摄图像。此外，利用h(x，y)，来代表前述引起模糊的摄像光学系统的PSF。h(x，y)取决于例如透镜的特性、拍摄参数(光圈、物体的位置、变焦位置等)，以及传感器的滤色器的透射率。此外，可以通过在拍摄点光源的图像的情况下，测量传感器表面上的光的二维分布，来确定h(x，y)。在f(x，y)、g(x，y)及h(x，y)之间，以下关系成立。

g(x，y)＝h(x，y)*f(x，y)…(1)

*代表卷积(卷积积分)。所谓校正模糊，就是由通过使用引起模糊的摄像光学系统而获得的拍摄图像g(x，y)，以及作为摄像光学系统的PSF的h(x，y)，来推导出通过使用理想摄像光学系统而获得的f(x，y)。

如果对在实平面中表现的等式1执行傅立叶(Fourier)变换，以将等式1变换为空间频率平面中的显示形式，则获得各频率的乘积的形式，如下式所示。

G(u，v)＝H(u，v)·F(u，v)…(2)

H(u，v)是通过对作为PSF的h(x，y)执行傅立叶变换而获得的，并被称为光学传递函数(OTF)。u和v代表二维频率平面上的坐标，即频率。G(u，v)是通过对g(x，y)执行傅立叶变换而获得的(傅立叶显示)，F(u，v)是通过对f(x，y)执行傅立叶变换而获得的。

为了由模糊的拍摄图像获得理想的无模糊图像，可以将两边均除以H，如下所示。

G(u，v)/H(u，v)＝F(u，v)…(3)

通过对F(u，v)执行傅立叶逆变换以恢复实平面中的显示形式，能够获得理想的无模糊图像f(x，y)作为恢复图像。

这里，假设对等式3中的H的倒数(H^-1)执行傅立叶逆变换，以获得R。然后，执行针对实平面中的图像的卷积，如下式所示，从而能够类似地获得无模糊图像。

g(x，y)*R(x，y)＝f(x，y)…(4)

R(x，y)称为逆过滤器。实际上，可能存在使得H(u，v)为0的频率(u，v)。在使得H(u，v)为0的频率下，在等式3中发生被零除的情况，无法执行计算。

通常，OTF的值随频率的增加而减小，因而，OTF的倒数即逆过滤器R(x，y)的值随频率的增加而增大。因此，如果利用逆过滤器来对模糊的拍摄图像执行卷积处理，则拍摄图像的高频成分被增强。实际的拍摄图像包括噪声，并且噪声一般具有高频率，因而，逆过滤器可能会增强噪声。

为了克服由于发生上述的被零除而不能执行计算的问题，并且不过度地增强高频噪声，已经提出了通过变换逆过滤器R(x，y)的等式而获得的维纳(Wiener)过滤器。在下文中，诸如逆过滤器及维纳过滤器等用于校正模糊的过滤器，将被称为图像恢复过滤器。