[发明专利]深度感知

说明书

技术领域

本发明涉及一种基于输入图像和视差数据对多视点图像进行渲染的方法。

本发明还涉及一种基于输入图像和视差数据对多视点图像进行渲染的渲染单元。

本发明还涉及一种包括所述渲染单元的图像处理设备。

本发明还涉及一种由计算机配置加载的计算机程序产品，其包括基于输入图像和视差数据对多视点图像进行渲染的指令，所述计算机配置包括处理器件和存储器。

背景技术

自从引入显示装置以来，许多人开始梦想着逼真的3-D显示装置。已经研究了许多可以实现这样的显示装置的原理。一些原理试图在一定空间中创建逼真的3-D对象。例如，A.Sullivan在proceedings ofSID’03(1531-1533，2003)的文章“Solid-state Multi-planarVolumetric Display”中公开了一种显示装置，其通过快速投影仪在一系列平面上移动可视数据。每个平面是一个可切换的散射器。如果平面的数量足够大，则人脑组合图画并观察到逼真的3-D对象。该原理允许观看者在一定范围里环顾对象。在此显示装置中，所有对象都是(半)透明的。

许多其它的原理试图只基于双目视差来创建3-D显示装置。在这些系统中，观看者的左右眼感知不同图像，因此观看者感知到3-D图像。可以在Princeton University Press，1993的图书《StereoComputer Graphics and Other True 3-D Technologies》(D.F.McAllister(Ed.))中找到这些概念的概述。第一个原理使用立体眼镜与例如CRT组合。如果显示奇数帧，则对左眼阻断光，并且如果显示偶数帧，则对右眼阻断光。

不需要附加工具来显示3-D的显示装置被称为自动-立体镜显示装置。

第一个无眼镜显示装置包括遮光板，以创建针对准观看者的左右眼的锥形光。例如，所述锥形光例如相应于奇数和偶数子像素列。利用适宜的信息对这些列进行寻址，如果观看者处于正确的位置点，则在他的左右眼中获得不同的图像，并能够感知到3-D图画。

第二个无眼镜显示装置包括一系列透镜，以将奇数和偶数子像素列的光成像给观看者的左眼和右眼。

上述无眼镜显示装置的缺陷在于观看者必须保持在固定位置。为了引导观看者，已经提议使用指示器来显示处在正确位置的观看者。例如参见美国专利US5986804，其中遮光板与红和绿发光二极管组合在一起。在观看者正确定位的情况下，他看到绿光或红光。

为了观看者免于处在固定的位置，已经提出了多视点自动-立体镜显示装置。例如参见美国US60064424和US20000912。在US60064424和US20000912所公开的显示装置中，使用倾斜的双凸透镜，由此双凸透镜的宽度大于两个子像素。这种方式中存在着若干相邻的图像，并且观看者可以稍显自由地向左右移动

为了在多视点显示装置上生成3-D印象，必须从不同的虚拟视点渲染图像。这需要有多个输入视图或一些3-D或深度的信息。该深度信息可以从多视点照像系统记录、生成，或从传统的2-D视频材料生成。为了从2-D视频生成深度信息，可以采用几种深度暗示：例如运动结构、聚焦信息、几何形状和动态隐面(dynamic occlusion)。目的是生成密集深度图，即每个像素一个深度值。接下来，将深度图用于渲染多视点图像以供给观看者深度印象。在P.A.Redert，E.A.Hendriks和J.Biemond的文章“Synthesis of multi Viewpointimages at non-intermediate positions” (Proceedings ofInternational Conference on Acoustics，Speech and SignalProcessing，Vol.IV，ISBN 0-8186-7919-0，第2749-2752页，IEEEComputer Society，Los Alamitos，California，1997)中公开了一种提取深度信息以及基于输入图像和深度图对多视点图像进行渲染的方法。多视点图像是将由多视点显示装置显示以创建3-D印象的一组图像。典型地，基于输入图像创建该组图像。通过将输入图像的像素移位相应的偏移量来创建这些图像之一。这些偏移量被称为视差。因此，典型地，对于每个像素来说存在一个对应的视差值，它们一起形成视差图。典型地，视差值和深度值成反比，即：