[发明专利]一种基于信号分解的场景深度恢复方法

摘要

本发明属于图像处理领域，提供了一种基于信号分解的场景深度恢复方法。本发明基于深度图像信号可拆分的先验知识，通过曲面最小二乘拟合以及全变差滤波对深度信号拆分后的各部分分别建模，并构建基于信号分解的深度恢复模型，推导相应算法，求解得到高质量深度图像。该发明具有程序简单，易于实现，能够获得高质量的深度图像；本方法通过对深度信号的每一成分分别建模，可以挖掘深度图像的真正结构特征，避免了采用纹理图像推断深度图像时，将纹理信息混入到深度图像中，使得深度值估计不准确的问题；采用增强拉格朗日和轮流交替法进行求解，将复杂的带等式约束的多变量联合优化问题转化成了容易求解的无约束若干子问题。

主权项

1.一种基于信号分解的场景深度恢复方法，其特征在于，包括下列步骤：第一步，准备初始数据，包括低质量深度图和同视角的高分辨率彩色图；第二步，构建观测模型；根据深度信号的可分解先验，真实深度图f由低阶的多项式曲面信号z和逐段恒定的阶跃信号x构成，即：f＝x+z深度获取的观测模型为：f0＝Kf+n  ＝K(x+z)+n式中，f0为低质量深度图，K为观测矩阵，n为加性的高斯噪声；在深度缺失的情况下，f0有效像素个数少于真实深度图f，为扁矩阵，K中每一个元素指示着对应位置深度值的有效性；在仅存在噪声的情况下，K为单位方阵；第三步，构建低阶的多项式曲面信号的约束方程；采用最小二乘的方式拟合噪声观测下的多项式曲面；构建低阶的多项式曲面信号的约束方程为：其中，P为范德蒙德矩阵，t为多项式系数，||·||2为2范数；第四步，构建逐段恒定的阶跃信号的约束方程；全变差滤波器对信号中相邻元素的差别进行线性惩罚，对近似逐段恒定的信号进行建模，保留其中的阶跃成分；构建逐段恒定的阶跃信号的约束方程为：其中，D为差分矩阵，||·||1为1范数；y为替代变量，用于将Dx从1范数内替换出来；第五步，构建基于信号分解的深度复原模型，包括以下步骤：5‑1)将低阶的多项式曲面信号约束方程和逐段恒定的阶跃信号约束方程在观测模型下结合起来，构成如下方程：s.t.y＝Dx,f0＝K(x+z)+n其中，λ为平衡因子；5‑2)将观测模型约束和多项式曲面信号约束部分融合到一起，以减少等式约束，方程如下：变量z用Pt替代使得模型更容易收敛；5‑3)利用高分辨率彩色图辅助定位深度图中的深度边缘，将深度边缘先验结合到全变差项内，得到最终的优化方程：其中，ω为权重向量，用于指示变量y中对应的像素是否属于深度边缘；°为矩阵的逐元素相乘操作；当深度图带噪声时，ω为全1向量；当为深度缺失的情况，在彩色图中提取ω，用ω来辅助定位；第六步，推导5‑3)步中的优化方程的求解算法，获得最终的高质量深度图。