[发明专利]数码照片中基于深度图的透视校正

说明书

本发明涉及数码照片的后期处理，用于校正该照片中的透视畸变。该校正技术应用了场景的数码照片和与该照片有关且包括照片中每个像素深度的深度图，该深度是指场景的该像素部分与获取照片时相机的位置之间的距离。该校正技术是局部执行的，因而照片中任何像素的校正都取决于该像素的深度。该校正技术可被实施为将原始照片中每个像素转换到校正后的照片的新位置中。之后，必须利用原始像素值及其新位置，为校正后的照片的像素计算像素值。本发明与物体或场景涉及显著放大率差异的照片特别相关，例如自拍照、近距离照片和大型物体的延长线不与相机光轴正交(低/高角度拍摄)的照片。

技术领域

本发明涉及数码照片的后期处理，更具体地，涉及用于执行数码相片的后期处理的方法、数码存储持有软件、集成电路和带有相机的手持设备。

背景技术

透视畸变

摄影提供了3D世界的2D表达。这种3D到2D的转换是通过用镜头将3D场景投影到2D传感器上来实现的。

距离很远时且若相机的光轴垂直于物体的延长线，透视投影提供“符合人们期望”的悦目照片。但是，如果到该物体的最近部分的距离与到该物体的最远部分的距离之间的比值非常大，近距离部分将以与较远部分不同的放大率呈现，而且这种放大率差异会导致在该物体的照片中的透视畸变。

有许多为人熟知的透视畸变效应。当较大物体的延长线不与光轴正交时，由于最近端会比远端放大得更多，该物体中的平行线在照片中是不平行的。例如，当以低角度拍摄摩天大楼时就是这种情形。另一个经常遇到的效应是，当相机和照片中的物体之间的距离与该物体的拓扑结构(topology)的深度在同一数量级上时，近距离部分会显得与远距离部分不成比例。例如自拍照(由主体的手持相机拍出的自画像)就是这种情形，在自拍照中，相机与主体头部间的臂长距离(30至50cm)和鼻子与耳朵间的距离是大约相同的距离数量级，从而使得鼻子显得不自然的大。

因此，透视畸变会影响其中物体或场景涉及高放大率差异的任何照片。

透视校正

透视校正的问题已经在一些特定应用场合被部分解决了，大多数时候使用需要用户交互的工具部分解决透视校正问题。现有工具允许校正以低和高角度拍摄的照片，但这些校正是基于相机位置与方向的了解或基于场景的假设几何结构(例如建筑物中的平行线)的整体校正。

大多数目前可用的校正方案仅提供对由相机光学器件引起的光学畸变的校正，例如鱼眼状、筒形或枕形畸变校正。在这些情况下，对光学畸变进行建模，且应用整体校正。

DxO ViewPoint 2(http://www.dxo.com/intl/photography/dxo-viewpoint/wide-angle-lens-software)代表了透视畸变校正方面的目前技术现状。DxO ViewPoint应用程序允许对在使用广角镜头时由相机光学器件引起的透视畸变进行校正。该应用程序也允许通过执行不同的投影来对没影直线(vanishing line)进行校正，但是这种校正与相机和物体或场景间的距离无关，且不能同时校正近距离和远距离的失真。所施加的校正是整体的，且与照片中的场景或物体的拓扑结构无关地施加这种校正。

整体校正基于由有关相机外部参数和相机内部参数和/或有关“先验(priori)”数据或用户定义数据的少数参数确定的平滑标准函数。例如，图1A至图1D示出了DxOViewPoint作出的图像校正，在照片和棋盘格图案上应用了同样的校正技术。图1A示出了原始照片和图案，在图1B中应用了透镜畸变校正，在图1C中应用了透视校正(自然模式(natural mode))，在图1D中应用了透视校正(完全模式(complete mode))。整体校正技术、例如DxO ViewPoint中的那些校正技术的问题是，这些校正技术被应用在整个图像上，而不关注主体。通过用户交互可将校正调整到给定地点处的给定平面内的给定物体，但如果场景包括一些与相机距离不等的物体，则校正不会对所有物体都是令人满意的。