[发明专利]一种基于光场的深度估计方法

说明书

技术领域

本发明属于多媒体技术与计算机图形学的技术领域，具体地涉及一种基于光场的深度估计方法。

背景技术

光场的概念最早出现在计算机图形学中，Gershun在其经典文章“三维空间光的无线电特性”里正式使用“光场”这个术语，用以描述光在三维空间中的辐射传输特性。光场描述空间中任意点在给定方向上的辐射度，是一个五维函数I(x,y,z,θ,φ)，其中(x,y,z)描述点的位置，(θ,φ)描述当前光辐射度值对应的光线方向。光场的优势在于其绘制时间独立于场景复杂度，可以表现任意光照效果，并且可以针对场景独立获取。如果只考虑光线在空间中的自由传输，它的颜色(波长)一般不会发生改变，所以在某一时刻的自由空间光线可由五维函数I(x,y,z,θ,φ)来描述。Levoy和Hanraham忽略光线在传输过程中的衰减将五维的全光函数(光场)降至四维，提出了四维光场的概念。

四维光场利用两个相互平行的平面进行参数化表示，即穿过像面(u,v,)和视点面(s,t)的一条直线描述三维场景中某个物理点发出的光线的方向，相应地光辐射度是这条直线的函数。普通相机所拍摄的二维图像可以认为是光场的一个二维切片，它包含了投影到当前像素位置的物理点发射光线的强度及方向信息，因此物理点的位置信息可以基于光场估计得到。已有的基于光场估计深度信息的方法主要基于能量优化函数估计，通常将深度分为多个等级，将对应最小能量值的深度等级作为估计深度值，这种基于深度等级估计深度值的方法往往会造成深度过平滑问题。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种基于光场的深度估计方法，其能够解决初始深度可靠性问题、能量优化过平滑问题。

本发明的技术解决方案是：这种基于光场的深度估计方法，包括以下步骤：

(1)初始深度估计：通过公式(3)、(4)计算得到视差的初值d₀：

d₀＝J_xx-J_yy(3)

其中G_σ是尺度为σ的高斯平滑算子，S_x、S_y为是尺度为ρ的梯度算子；

(2)检测可计算像素：

边缘置信系数C_e通过公式(5)获得：

其中N(x,s)是像素(x,s)的一维邻域像素集合，E(u,s)表示像素(x,s)的光线辐射值，所有系数C_e大构成一个二值模板M_e，C_e于阈值大于0.02则模板对应位置取值1，否则取值0，其中值为1表示对应像素进行深度估计运算；

(3)基于水平和垂直方向光场的深度计算：通过公式(11)获得EPI面上像素和(y,t^*)

其中(x′,y′)为视点下像素7*7邻域窗口上的像素，D(x′,y′)为其对应的深度值，E(x′,y′)是它的光线辐射值，M_e(x′,y′)是其对应二值模版值；

(4)深度信息融合：通过公式(14)获得最终深度值

其中是水平3D光场下深度d_t对应的可信评分系数，是垂直3D光场下深度d_s对应的可信评分系数；

(5)深度信息传播：

将最终深度值d(x,y)保存在线段元组其中m＝1/d,表示公式(9)所求的(x,y)辐射均值，对经过像素点(x,y)且斜率为m的线段上的点(x′,s′)，判断是否成立，ε为指定的相似程度，对使得上式成立的像素(x′,s′)赋以深度值d

其中R(x″,d)如公式(6)所示为像素(x″,s)的光线颜色值集合，通过改进的mean-shift算法求得作为像素(x″,s)的光线辐射值；

(6)重复步骤(3)-(5)，直到当前分辨率的EPI上所有M_e值为1的置信像素都得到计算或在传播中得到深度值；

(7)将低分辨率下计算得到的深度值逐层复制到高分辨率图像，直到最高分辨率图像中所有像素都有深度值。

本发明通过初始深度估计、检测可计算像素、计算水平和垂直方向光场的深度、深度信息融合、深度信息传播、深度信息逐层复制，最终得到深度信息，从而能够解决初始深度可靠性问题、能量优化过平滑问题。

附图说明

图1是4D光场的示意图。