[发明专利]低显存占用的多阶段稠密重建方法及装置

说明书

本申请公开了一种低显存占用的多阶段稠密重建方法及装置，该方法包括：获取多张原始图像；通过预设特征金字塔生成每张原始图像的多个尺度的特征图；确定每个参考图像对应的多个源图像的多个尺度的特征体；在顶层尺度上，生成参考图像的代价体，使用分层式递归卷积网络生成深度图；在其他尺度上，参考上一尺度的深度图生成参考图像的剩余代价体，使用分层式递归卷积网络生成残差深度图，与上一尺度的深度图上采样相加获得本尺度深度图；融合多张底层尺度上生成的深度图，获得稠密点云。本申请公开的方法能够生成高精度的深度图，有效克服以往基于深度学习的MVS算法在提取低纹理、弱纹理等方面的难题和显存占用过大的问题，实现了图像的稠密重建。

技术领域

本申请涉及遥感测绘地理信息技术领域，尤其涉及一种低显存占用的多阶段稠密重建方法及装置。

背景技术

稠密重建算法旨将真实场景的3D稠密点云模型从多幅图像中获取，传统方法使用人工计算的相似性度量和光度一致性来对深度图进行估计并获得稠密3D点云。

传统方法在理想的朗伯场景下有很好的效果，但MVS算法在深度学习中有着显存占用过大的问题。

发明内容

在本申请实施例中，通过提供一种低显存占用的多阶段稠密重建方法及装置，能够生成高精度的深度图并在实际工程中运用时能够节约硬件资源，有效克服以往基于深度学习的MVS算法在提取低纹理、弱纹理等方面的难题和显存占用过大的问题，实现了图像的稠密重建。

第一方面，本申请实施例提供了一种低显存占用的多阶段稠密重建方法，该方法包括；获取多张原始图像；其中，所述原始图像包括参考图像和源图像；通过预设特征金字塔生成每张所述原始图像的多个尺度的特征图；根据所述原始图像的多个尺度的所述特征图，确定每个所述参考图像对应的多个源图像的多个尺度的特征体；在顶层尺度上，生成所述参考图像的代价体，并使用分层式递归卷积网络生成深度图；在其他尺度上，参考上一尺度的深度图生成所述参考图像的剩余代价体，使用分层式递归卷积网络生成残差深度图，并将所述残差深度图与上一尺度的深度图上采样相加，获得本尺度上的深度图；融合多张底层尺度上生成的深度图，获得稠密点云。

结合第一方面，在一种可能的实现方式中，所述分层式递归卷积网络在垂直方向包括的多个平行递归模块，每个所述平行递归模块用于将前一所述平行递归模块的递归卷积结果传送至后一所述平行递归模块，包括：所述分层式递归卷积网络在水平方向为平面U-Net结构。

结合第一方面，在一种可能的实现方式中，所述融合多张底层尺度上生成的深度图，包括：通过动态一致性检验来融合多张底层尺度上生成的深度图。

结合第一方面，在一种可能的实现方式中，所述方法还包括：使用多尺度聚合模块对所述特征图进行特征细化。

结合第一方面，在一种可能的实现方式中，所述多尺度聚合模块包括第一聚合模块和第二聚合模块；所述第一聚合模块包括空洞卷积和双线性插值单元，所述第二聚合模块包括可变形卷积和双线性插值单元；所述使用多尺度聚合模块对所述特征图进行特征细化，包括：对每张所述原始图像的底层尺度上的所述特征图使用第二聚合模块进行特征细化；对每张所述原始图像的其他尺度上的所述特征图使用第一聚合模块进行特征细化。

结合第一方面，在一种可能的实现方式中，所述方法还包括：对所述分层式递归卷积网络进行训练，并使用总损失函数对所述分层式递归卷积网络进行分析；所述总损失函数定义如下：其中，L^k表示第k尺度的损失函数，λ^k表示其相应的损失权重。