[发明专利]用于大规模场景的深度图超分辨重建方法及装置

说明书

本申请公开了一种用于大规模场景的深度图超分辨重建方法及装置，该方法包括：对原始采集图像进行畸变矫正，获得矫正图像；对矫正图像进行降采样，获得降采样图像；确定降采样图像的降采样深度图；对矫正图像与降采样图像进行匹配，并将两者相似度最高的像素值位置在降采样深度图上所对应的深度值赋值给升采样初始深度图；将原始图像作为引导图像，对升采样初始深度图进行自适应权重引导滤波，获得升采样深度优化图；融合多张升采样深度优化图，获得三维点云。本申请提供的技术方案能够利用较少的硬件资源和计算时间来生成精度较高且分辨率较高的高分辨深度图，进而能够满足大规模高分辨率场景重建需求。

技术领域

本申请涉及倾斜摄影实景三维建模技术领域，尤其涉及一种用于大规模场景的深度图超分辨重建方法及装置。

背景技术

倾斜摄影实景三维建模技术是随着无人机航拍技术的发展而迅速发展的，在智慧城市，城市规划，消防应急，智能检测等领域发挥着重要作用。由于其相较于传统三维建模方式具有较大的优势，如建模低成本、无人机具有高机动性、重建精度高而且重建速度较快等，倾斜摄影三维建模逐渐成为实景三维建模的重要实现方式。

深度图数据作为物体在真实三维空间位置的一种数据表示类型，在倾斜摄影三维建模技术领域中具有重要的作用。随着航拍技术的高速发展，摄影采集设备也快速迭代更新，采集的图像质量越来越高，而且像素分辨率越来越大。随着图像分辨率的增大，在倾斜摄像三维建模中深度图的计算处理耗时以及计算时所占用的计算机内存空间也呈线性增长，导致一些高分辨率的数据因计算机硬件资源的限制，三维建模效率很难满足用户的需求甚至因计算需要较高的硬件内存资源而无法进行建模。

为了克服上述的局限性，一个直观且理论上可行的方法是对高分辨率的采集图像进行降采样后再进行三维建模。常规的图像降采样处理方法包括最近邻插值、双线性插值、三次立方插值等。但是，原始图像在进行降采样处理后会存在一定的失真情况，利用降采样图像进行三维建模，从而会导致重建精度不够准确的技术问题。

发明内容

本申请实施例通过提供一种用于大规模场景的深度图超分辨重建方法及装置，解决了现有技术中利用降采样图像进行三维建模会导致重建精度不够准确的技术问题。

第一方面，本申请实施例提供了一种用于大规模场景的深度图超分辨重建方法，所述方法包括：对原始采集图像进行畸变矫正，获得矫正图像；对所述矫正图像进行降采样，获得降采样图像；确定所述降采样图像的降采样深度图；对所述矫正图像与所述降采样图像进行匹配，并将两者相似度最高的像素值位置在所述降采样深度图上所对应的深度值赋值给升采样初始深度图；将所述原始图像作为引导图像，对所述升采样初始深度图进行自适应权重引导滤波，获得升采样深度优化图；融合多张所述升采样深度优化图，获得三维点云。

结合第一方面，在一种可能的实现方式中，所述对所述矫正图像进行降采样包括：对所述矫正图像进行高斯模糊；删除所述矫正图像的偶数或奇数的行像素以及偶数或奇数的列像素。

结合第一方面，在一种可能的实现方式中，所述确定所述降采样图像的降采样深度图包括：对所述降采样图像与所述降采样图像所对应的图像进行匹配；重建所述降采样图像的每个像素点的三维坐标；确定所述降采样图像的每个像素点的深度值。

结合第一方面，在一种可能的实现方式中，所述对所述矫正图像与所述降采样图像进行匹配包括：采用归一化互相关匹配法对所述矫正图像与所述降采样图像进行匹配。

结合第一方面，在一种可能的实现方式中，所述方法还包括：采用递增式运动恢复结构估计相机内外参数、所述原始采集图像的深度范围及其对应的立体匹配视图信息。

结合第一方面，在一种可能的实现方式中，所述畸变矫正的计算公式如下：