[发明专利]基于主被动融合的高分辨率深度图获取方法

摘要

本发明公开了一种基于主被动融合的高分辨率深度图获取方法，首先对TOF低分辨率深度图进行稀疏式上采样和视差图计算，将TOF相机产生的低分辨率深度图映射到3D场景的世界坐标系，再将三维点投影到与左彩色相机或右彩色相机坐标系形成TOF视差点阵；进行立体匹配和TOF深度融合，计算得到弱纹理区域的视差图、纹理区域的视差图和其他区域的视图差。与现有技术相比，本发明的算法具有一定鲁棒性；综合TOF深度相机和彩色立体相机的匹配算法的优势弥补各自算法的不足；能够对现实世界场景以及标准数据集展示出良好的效果，此算法具有较好的性能；该算法将在计算机视觉和机器人应用领域具有非常好的应用前景。

主权项

一种基于主被动融合的高分辨率深度图获取方法，其特征在于，该方法以下步骤：步骤(1)、首先对TOF低分辨率深度图进行稀疏式上采样和视差图计算，所述稀疏式上采样具体的步骤包括将TOF相机产生的低分辨率深度图映射到3D场景的世界坐标系，再将三维点投影到与左彩色相机或右彩色相机坐标系形成TOF视差点阵；从而，TOF相机获得的深度数据能够和左相机的某个样本点建立联系，实现将TOF深度图的分辨率从144×176提高到了778×1032；所述视差图计算的步骤具体包括计算在左相机‑右相机系统中以TOF相机作为参考的视差值D_t(l,r)：$D_t(l,r)=H_{lr}^l{x}_l-H_{lr}^r{x}_r$其中，$x_r={\left(H_{tr}^r\right)}^{-1}{D}_t(t,r)H_{tr}^t{x}_t$$x_l={\left(H_{tl}^l\right)}^{-1}{D}_t(t,l)H_{tl}^t{x}_t$和分别为右相机‑TOF系统中校准右相机的单应矩阵和左相‑TOF系统中校准左相机的单应矩阵，和分别为左相机‑TOF系统中校准TOF相机的单应矩阵、右相机‑TOF系统中校准TOF相机的单应矩阵，D_t(t,r)为右相机‑TOF系统中以TOF相机作为参考的视差图，D_t(t,l)为左相机‑TOF系统中以TOF相机作为参考的视差图；最终，转换到左相机坐标系得到左相机‑右相机系统中以左相机为参考的视差图D_l(l,r)；步骤(2)、进行立体匹配和TOF深度融合，包括计算得到弱纹理区域的视差图、纹理区域的视差图和其他区域的视差图，其中：计算弱纹理区域的视差图包括：利用步骤(1)获得了左、右视差图D_l(l,r)、D_t(l,r)，分割得到弱纹理区域，根据弱纹理区域中像素的已知视差，在3D(x,y,d)视差空间中拟合成光滑的视差曲面，然后利用视差曲面的表面插值求取未知像素的视差：d(x,y)＝a1+a2·x+a3·y+a4·x²+a5·xy+a6·y²+a7·x³+a8·x²y+a9·xy²+a10·y³其中，d(x,y)表示一个三维视差曲面，a1,…,a10表示系数，x,y为坐标；然后，基于得到了弱纹理区域的视差图，使用Yoon和Kweon的自适应加权算法计算纹理区域的像素视差，计算包括：为给定的纹理区域中一对经过校正后的图像I_l,I_r处于中心像素窗内的每个像素赋予权值，像素的初始匹配代价使用绝对误差AD进行计算，通过对(p_c,q_c)初始代价加权求和得到支持窗口的总代价，再将其归一化处理，公式如下：p_c,q_c对应的总代价表示为：p_i,q_i的初始匹配代价表示为：p_i,q_iω_l(p_i,p_c)加权系数ω_l(p_i,p_c)和ω_r(q_i,q_c)分别表示为：${\mathrm{\ω}}_l(p_i,p_c)=\exp (-\frac{d_p(p_i,p_c)}{{\mathrm{\γ}}_p}-\frac{d_c\left(I_c\right(p_i),I_c(p_c\left)\right)}{{\mathrm{\γ}}_c})$${\mathrm{\ω}}_r(q_i,q_c)=\exp (-\frac{d_p(q_i,q_c)}{{\mathrm{\γ}}_p}-\frac{d_c\left(I_c\right(q_i),I_c(q_c\left)\right)}{{\mathrm{\γ}}_c})$其中，p_c,q_c分别为左右视图的中心像素，W_l,W_r分别为以p_c,q_c为中心的支持窗口，p_i,q_i分别为落在W_l,W_r中的像素；e₀(p_i,q_i)为，I_c表示c的颜色强度，T决定初始匹配代价的上限值，d_c(I_c(p_i),I_c(p_c))表示视图中像素p_i,p_c在CIELAB颜色空间中的颜色距离，d_p(p_i,p_c)表示p_i,p_c之间的空间距离，d_c(I_c(q_i),I_c(q_c))表示视图中像素q_i,q_c在CIELAB颜色空间中的颜色距离，d_p(q_i,q_c)表示q_i,q_c之间的空间距离；常数γ_p,γ_c为两个参数；计算代价聚合之后，使用WTA(Winner‑Take‑All)方法选择获取纹理区域的视差：$d_p=\arg \underset{d\∈S_d}{min}c(p_c,q_c)$其中，d表示p_c,q_c对应的视差候选，S_d＝d_min,…,d_max为所有可能的视差值的集合。有了弱纹理区域和纹理区域的视差，对于其他区域的视差求取，采用两种数据加权的方式进行融合，即：假设由TOF求得的视差值为d_t，由立体匹配求得的视差值为d_s，则该像素的视差d₀应为：d₀＝ω_t·d_t+ω_s·d_s其中，ω_t为TOF求得的视差值的权重；ω_s为立体匹配求得的视差值的权重。${\mathrm{\ω}}_s=\frac{{\mathrm{\γ}}_s}{{\mathrm{\γ}}_s+{\mathrm{\γ}}_t}$ω_t＝1‑ω_s。