[发明专利]深度图超分辨率重建方法

摘要

本发明属于计算机视觉领域，为提出融合多视点深度信息的超分辨率重建方法，为虚拟视点绘制等3D图像处理技术奠定基础。本发明采用的技术方案是，深度图超分辨率重建方法，步骤如下：1)可信深度值判断：两个限制判断条件，第一个限制判断条件是从不同视角拍摄同一3D点，其深度值应该相同或接近；第二个限制条件是由相邻视点彩色图和深度图分别进行单视点虚拟视图绘制，其绘制的彩色图像像素值应该非常相近；2)确定可信权重表达式R_i，j(p)之后，根据立体匹配关系，找到当前视点的所有像素点的匹配点，结合深度值可信度与虚拟视图质量可信度，提出多视点深度图融合机制；3)深度图重建。本发明主要应用于3D图像处理。

主权项

1.一种深度图超分辨率重建方法，其特征是，步骤如下：1)可信深度值判断：两个限制判断条件，第一个限制判断条件是从不同视角拍摄同一3D点，其深度值应该相同或接近；第二个限制条件是由相邻视点彩色图和深度图分别进行单视点虚拟视图绘制，其绘制的彩色图像像素值应该非常相近；满足上述两个深度值可信的限制条件的公式如下所示：其中，和分别表示当前i视点深度图和第m个视点深度图在像素点p处的深度值，δ表示深度值可信阈值，表示由当前i视点深度图单视点绘制到第k个视点的虚拟视图，表示由第m个视点深度图单视点绘制到第k个视点的虚拟视图，T表示虚拟视点质量阈值，J表示满足两个限制条件的视点的集合，由此判断出用于下一步融合的视点深度值；2)确定可信权重表达式R_i,j(p)之后，根据立体匹配关系，找到当前视点的所有像素点的匹配点，结合深度值可信度与虚拟视图质量可信度，提出多视点深度图融合机制，如下公式所示：其中，表示第j个视点像素点p处的初始深度值，可信权重表达式R_i,j(p)也即表示视点i和视点j之间的可信度函数,表示第i个视点像素点p处改善后的深度值，表示第k个视点彩色图像在像素点p处的真值，表示由第j视点绘制到第k个视点的虚拟视图像素值；根据上述多视点融合判断机制，获得当前视点改善后的低分辨率深度图；3)深度图重建对上述的初始低分辨率深度图采用传统的双线性插值算法进行上采样，得到初始的高分辨率深度图，采用联合自适应双边滤波上采样方式，对初始高分辨率深度图进行改善。