[发明专利]一种可适应复杂场景的无畸变集成成像三维显示方法

摘要

本发明提出了一种适用于复杂场景下无畸变集成成像三维显示方法，该方法首先利用Kinect获取三维场景的彩色图像和深度图像，并针对深度图像与彩色图像边界不一致问题，结合边缘信息进行干扰消除；然后，进一步针对深度图像的黑洞区域提出联合三边滤波进行填充，并将联合三边滤波器中的值域滤波器进行自适应处理消除深度图像的伪影效应；最后利用光场数学模型得到复杂场景的基元图像阵列，实现无畸变的三维集成成像显示。本发明不仅可以有效克服记录复杂场景时微透镜阵列的物理局限性，而且可以实现对复杂场景的无畸变集成成像三维显示。

主权项

1.一种适用于复杂场景下无畸变集成成像三维显示方法，其特征包括以下步骤：步骤一，基于Kinect相机的深度图像和彩色图像的对齐及裁剪通过Kinect相机同步获取目标场景的深度图像和彩色图像，并同时使用红外补光照射标定板对Kinect进行标定，结合标定结果通过坐标变换，对深度图像与彩色图像进行对齐和裁剪；步骤二，针对深度图像与彩色图像边界的干扰消除通过对彩色图像和深度图像同时进行canny边缘检测，将两幅图像边缘之间非对齐的深度像素点全部置为黑洞，即将该点的灰度值设置为0，得到一幅消除掉干扰深度值后的深度图像；步骤三，针对大面积黑洞区域的填充消除处理充分考虑彩色图像中的空域信息、颜色信息和结构相似度(SSIM)信息的基础上，提出了一个迭代联合三边滤波器，通过用这个滤波器对黑洞区域进行黑洞填充，来得到高质量的深度图像；针对大面积黑洞区域的填充消除处理的具体步骤如下：通过对黑洞点邻域处的像素的深度值进行加权平均后插入到黑洞点处；将Kinect生成的彩色图像作为引导图像，设计了联合双三滤波器对图像进行黑洞填充，公式如下：式中k_p为归一化因子，J_p是通过滤波器进行加权平均后插入黑洞点p处的深度值，Ω是p的邻域，q是Ω内的像素，I_q是深度图像中q点的灰度值，f(||p‑q||)是空域滤波器，g(||I_P‑I_q||)是值域滤波器，t(S_p,S_q)是新加入的结构相似度评价标准；(1)式空域滤波器f(||p‑q||)设为高斯函数：式中p_x、p_y、q_x、q_y为p，q两像素在深度图像中的坐标值，邻域点距离中心点的距离决定了该点的空间权重，该权重随p与q之间的欧氏距离的增加以指数方式衰减，标准差σ_d设为2；(1)式值域滤波器g(||I_P‑I_q||)设为梯度倒数加权平均滤波器：(1)式中结构相似度评价标准SSIM(p,q)作为权重因子判别图像中两个图像块之间的相似度，公式如下：式中，u_p，u_q分别是以p和q为中心的图像块的像素均值，σ_p，σ_q分别是为以p和q为中心的图像块的标准差，σ_pq是以p和q为中心点图像块的协方差；(1)式中迭代条件为式中Count代表滤波模板内非零深度值的像素的个数，C为阈值，当有效像素个数大于C的时候，进行滤波；H(SSIM(p,q),Th)指在滤波模板内p邻域像素中，当存在像素q使得以p和q为中心的图像块之间的结构相似度系数大于阈值Th时，进行滤波；确保滤波模板内非零深度值的像素中存在与黑洞像素同一区域的像素，否则跳过当前滤波过程继续对图像进行遍历；步骤四，针对黑洞填充后的深度图像中存在的伪影消除将联合三边滤波器中的值域滤波器进行自适应处理，然后通过对深度图像进行滤波处理来消除伪影，得到具有连续深度变化且边缘平滑的深度图像；步骤五，基于光场信息的基元图像阵列生成根据步骤一的彩色图像和步骤四得到的修复深度图像建立模型得到大景深复杂场景的基元图像阵列，获得的基元图像阵列类似于通过微透镜阵列获得基元图像阵列；所述基于光场信息的基元图像阵列生成的具体实施方案包含以下两个步骤：(1)子图像的获取子图像是指所有元素图像中同一位置的像素的集合，根据投影几何原理表示为：I_θ(x,y)＝I(x+Δq_x,y+Δq_y)   (7)式中I(x,y)是彩色图像在(x,y)点处的像素值，Δq_x和Δq_y是沿x轴和y轴方向的像素偏移值Δq，Δq依赖于深度信息和投影角度：Δq＝(z(x,y)‑d_c)×tanθ   (8)式中z(x,y)是修复的深度图像中点(x,y)的深度值，d_c是中心深度平面和零平面即z＝0的距离，θ是投影角度公式为：式中δ是元素图像中每个像素的大小，g是微透镜阵列与元素图像之间的距离；像素索引值i,j＝floor(‑p/2δ)‑1,floor(‑p/2δ),...,floor(p/2δ)+1，floor(*)代表下取整运算；(2)元素图像阵列的生成根据生成元素图像阵列的像素投影算法原理，元素图像阵列可以通过公式(10)得到：式中s是微透镜的间隔，m和n代表第m行和第n列的微透镜的索引；步骤六，根据逆光路原理，进行集成成像光学显示将步骤三得到的基元图像阵列显示在高分辨率的显示屏中，透过显示屏前放置的微透镜阵列便呈现出具有连续视差的无畸变3D图像。