[发明专利]包括相机的相机系统、相机、操作相机的方法以及用于对记录的图像去卷积的方法

说明书

技术领域

本发明涉及一种包括具有透镜和图像传感器的相机的相机系统。

本发明还涉及一种具有透镜和图像传感器的相机。

本发明还涉及一种操作包括透镜和图像传感器的相机的方法。

本发明还涉及一种用于对通过包括透镜和图像传感器的相机所记录的图像数据进行去卷积的方法。

背景技术

诸如CMOS和CCD传感器这样的常规图像传感器对在曝光时间期间冲击它们的所有光进行整合。这提供了静态对象的清晰图像，但导致针对当快门打开时移动的对象的空间模糊。没有交点对准（即未被定位于焦平面中）的对象也是模糊的。所谓的运动模糊与曝光时间和对象速度成比例。当相机在低光水平条件下操作时，运动模糊是特别麻烦的。在这样的情况下，长曝光时间被期望获得足够高的信噪水平使得场景的暗区域能够被充分地成像。因此，许多相机遭受运动模糊与动态范围之间的经典权衡。曝光时间需要是长的以便捕获足够的光，但需要是小的以便减少运动模糊。在本发明的框架内，词相机包括用于拍摄相片的相机以及用于视频目的的相机。

用来减少未被定位于焦平面中的对象的模糊的相机和方法从Nagahara等人的文章“Flexible Depth of Field Photography”, H. Nagahara, S. Kuthirummal, C. Zhou, and S.K. Nayar, European Conference on Computer Vision (ECCV), Oct, 2008中得知。

在Nagahara等人的文章中，示出了用于拍摄相片的相机，其中传感器与固定焦点透镜之间的距离是变化的。传感器在曝光时间期间被扫过一定距离。扫描（sweeping）距离被布置来扫描一系列场景深度范围以便提高景深。在Nagahara等人的文章中公开的现有技术相机减少了失焦模糊。为了减少失焦模糊，传感器被沿着光轴扫描以便覆盖特定深度范围。这个构思也被称作“扫描焦点相机”。

焦点的扫描为合成图像作准备，所述合成图像实际上是在各种焦点深度处的许多图像的组合。表征由扫描通过各个焦点位置所引起的模糊的点扩展函数(PSF)能够被计算。点扩展函数实际上是对象的点将在传感器上形成的图像。对于完全焦点对准的对象，点扩展将为零，并且因此PSF将是狄拉克(Dirac)函数。这个函数的傅里叶变换对于所有频率来说将是恒定的。对于没有焦点对准的点，PSF是展开（spread-out）函数，对于当相机是固定的时的运动中的对象来说，PSF将由于运动而被展开在一定距离上。根据PSF，一个人能够计算逆点扩展函数(IPSF)。用逆点扩展函数对合成图像去卷积使清晰图像得以被获得并且增加的景深被获得。这归因于当传感器被扫描时针对在各个距离处的静态对象的PSF在很大程度上变得相同的事实。因此，用同一个IPSF对原始图像去卷积将提供在所有距离或至少增加范围的距离处的清晰图像，并且增加的景深针对静态对象被获得。

尽管失焦模糊及其减少可能是重要的，但是如上面所解释的主要问题针对移动对象而存在并且保持（即，运动模糊），尤其是对于较大的曝光时间来说。

运动模糊能够借助于视频处理而被反转。这个通过沿着运动轨迹的运动估计和逆滤波被实现。这个是例如从US 6930676得知的。然而，实际上，这样的程序的结果遭受不准确的运动矢量，特别是对于封闭区域而言。一个人必须知道运动轨迹并且根据它们推导出运动矢量以便能够进行逆滤波。在专业应用中使用的许多独立相机中，运动矢量可能根本不是可得到的。例如，用于监视或活动监控的许多相机的记录仅将输入提供给基于计算机视觉的分析程序(例如，可疑对象的自动检测、对老龄人的跌倒检测等)。在这些场景中，原始输入帧的质量是针对检测系统的性能的决定因数。足够准确的运动矢量在相机内可能不是动态可得到的，并且记录的视频的后处理不是实时监控系统中的选项。对于拍摄单个快照的相机来说，准确地确定运动矢量从根本上是不可能的。如果有可能的话，在封闭区域处运动的估计也是极其困难和不准确的。在低光条件下，问题由于缺少光而增加。除去运动模糊的另一方法是让相机跟随移动对象。然而，这同样具有大量的明显缺点。尽管移动对象不是模糊的，但是其它一切都是。此外，一个人必须知道对象的方向以及速度以便完成这样的事实。这个方法因此仅在其中能够做出移动的速度和方向的相当准确的确定的情形下是可能的，例如在一级方程式赛车或跳台滑雪情况下，其中运动的方向被提前相当准确地知道，以及速度的相对准确的估计可以被提前作出。