[发明专利]用于产生3-D全光视频图像的系统和方法

说明书

技术领域

本发明大体涉及用于产生立体全光视频图像的系统和方法，且更明确地说涉及用于通过跟踪观察者的眼坐标产生和显示立体全光视频图像的系统和方法。

背景技术

3-D立体视频具有设定的焦点，意味着当观察者尝试聚焦于设定的深度平面外部的图像时深度的错觉被打破。此效应可致使3-D内容的一些观察者的眼疲劳，因为眼睛尝试(且未能)如原始拍摄那样聚焦于场景的设定的深度平面外部的内容。全光(也称为“光场”)相机技术允许俘获可在图像被俘获之后聚焦的图像。在传统应用环境中，此允许将全光图像中的任何对象带到锐聚焦，而不管对象包含于什么焦平面中。

在传统摄影中，图像的焦点区域在拍摄图片之前配置。在已拍摄图片之后，设定焦点的区域且离焦的区域无法对焦。相反，光场或全光相机使用特殊透镜和传感器来俘获场景的范围内的整个光场。因此，全光相机能够俘获空间中的每个点中在每一方向上行进的所有光。利用全光相机，因为俘获所有光的颜色、方向和强度，所以在已拍摄图片之后使用软件执行聚焦。已拍摄图片之后聚焦允许用户在任何时间修改对焦的图像区域。

发明内容

在一个实施例中，本发明提供一种用于产生全光图像的系统。所述系统包括能够产生至少一个全光图像的全光图像源。所述系统进一步包括深度映射模块，其经配置以将所述至少一个全光图像中的对象指派到深度平面。所述系统进一步包括用于显示所述至少一个全光图像的显示器。所述系统进一步包括眼跟踪系统，其经配置以跟踪用户在显示器上凝视的位置，且将所显示图像的焦平面设定为由用户观看的深度平面。

在另一实施例中，本发明提供一种用于设定由用户观看的图像的焦平面的方法。所述方法包括产生至少一个全光图像。所述方法进一步包括将所述至少一个全光图像中的对象映射到深度平面。所述方法进一步包括显示所述至少一个全光图像。所述方法进一步包括跟踪显示器上用户的凝视的位置，以及将所显示图像的焦平面设定为由用户观看的深度平面。

在另一实施例中，本发明提供一种用于设定全光图像的焦平面的系统。所述系统包括用于产生至少一个全光图像的装置。所述系统进一步包括用于将所述至少一个全光图像中的对象映射到深度平面的装置。所述系统进一步包括用于显示所述至少一个全光图像的装置。所述系统进一步包括用于跟踪用户在显示器上凝视的位置的装置。所述系统进一步包括用于将所显示图像的焦平面设定为由用户观看的深度平面的装置。

附图说明

图1为用户观看屏幕上的3-D全光图像的说明，其中用户眼睛经由眼镜(B)或经由红外(A)跟踪。

图2为全光图像帧的说明，其中3个深度平面根据用户的眼坐标聚焦。

图3为根据本发明的一个实施例的系统级概观的框图。

图4为展示用于产生3-D全光视频的过程的概观的流程图。

图5为展示用于俘获用户的眼位置的过程的概观的流程图。

图6为展示用于将用户的眼坐标映射到全光图像深度平面的过程的概观的流程图。

图7为展示用于将用户的眼坐标映射到全光图像深度平面的过程的概观的流程图。

具体实施方式

本发明的实施例涉及用于向用户显示立体全光图像的系统和方法。全光图像含有足够信息以从单一全光图像立体地显示所述图像。因为全光相机记录深度信息(允许在可变深度聚焦)，所以可在软件中由单一全光图像俘获构建立体图像。全光相机使用微透镜阵列俘获“四维”光场信息。所述微透镜阵列可将微透镜上的入射光线的一部分分离为束，所述束来源于相同位置但处于不同角方向。因此，所俘获全光图像含有足够信息以再造(凭经验)覆盖焦点距离范围的大块图像。通过使不同焦点距离和深度处的图像对匹配，可针对3-D应用向用户立体地显示全光图像。

实施例大体涉及使用全光图像产生静态图像或视频的系统和方法，其中图像或视频的不同深度部分可由用户通过使用眼跟踪来聚焦。因此，在一些实施例中，个别全光图像流组合为帧序列以便产生含有多个深度平面信息的2-D或3-D电影序列。全光数据的每一帧可以(例如)每秒30帧的标准速率组合以供向用户显示。当向用户显示特定视频帧时，系统将计算将图像的某些特征的2-D屏幕坐标链接到其恰当深度平面的每帧坐标映射图。举例来说，场景的前景中的树将被指派到前深度平面，且背景中的山将被指派到第二深度平面。不同数目的深度平面可用于电影的每一场景。仅具有几个要素的简单场景可具有2-5个深度平面，而具有许多要素的较复杂场景可具有6-10个深度平面。