[发明专利]低显存占用的多阶段稠密重建方法及装置

权利要求书

1.一种低显存占用的多阶段稠密重建方法，其特征在于，包括：

获取多张原始图像；其中，所述原始图像包括参考图像和源图像；

通过预设特征金字塔生成每张所述原始图像的多个尺度的特征图；

根据所述原始图像的多个尺度的所述特征图，确定每个所述参考图像对应的多个源图像的多个尺度的特征体；

在顶层尺度上，生成所述参考图像的代价体，并使用分层式递归卷积网络生成深度图；在其他尺度上，参考上一尺度的深度图生成所述参考图像的剩余代价体，使用分层式递归卷积网络生成残差深度图，并将所述残差深度图与上一尺度的深度图上采样相加，获得本尺度上的深度图；

融合多张底层尺度上生成的深度图，获得稠密点云。

2.根据权利要求1所述的方法，其特征在于，所述分层式递归卷积网络在垂直方向包括的多个平行递归模块，每个所述平行递归模块用于将前一所述平行递归模块的递归卷积结果传送至后一所述平行递归模块；

所述分层式递归卷积网络在水平方向为平面U-Net结构。

3.根据权利要求1所述的方法，其特征在于，所述融合多张底层尺度上生成的深度图，包括：

通过动态一致性检验来融合多张底层尺度上生成的深度图。

4.根据权利要求1所述的方法，其特征在于，还包括：使用多尺度聚合模块对所述特征图进行特征细化。

5.根据权利要求5所述的方法，其特征在于，所述多尺度聚合模块包括第一聚合模块和第二聚合模块；所述第一聚合模块包括空洞卷积和双线性插值单元，所述第二聚合模块包括可变形卷积和双线性插值单元；

所述使用多尺度聚合模块对所述特征图进行特征细化，包括：

对每张所述原始图像的底层尺度上的所述特征图使用第二聚合模块进行特征细化；

对每张所述原始图像的其他尺度上的所述特征图使用第一聚合模块进行特征细化。

6.根据权利要求1所述的方法，其特征在于，还包括：对所述分层式递归卷积网络进行训练，并使用总损失函数对所述分层式递归卷积网络进行分析；

所述总损失函数定义如下：

其中，L^k表示第k尺度的损失函数，λ^k表示其相应的损失权重。

7.一种低显存占用的多阶段稠密重建优化装置，其特征在于，包括：

获取模块，用于获取多张原始图像；其中，所述原始图像包括参考图像和源图像；

特征图生成模块，用于通过预设特征金字塔生成每张所述原始图像的多个尺度的特征图；

特征体确定模块，用于根据所述原始图像的多个尺度的所述特征图，确定每个所述参考图像对应的多个源图像的多个尺度的特征体；

深度图生成模块，用于在顶层尺度上，生成所述参考图像的代价体，并使用分层式递归卷积网络生成深度图；在其他尺度上，参考上一尺度的深度图生成所述参考图像的剩余代价体，使用分层式递归卷积网络生成残差深度图，并将所述残差深度图与上一尺度的深度图上采样相加，获得本尺度上的深度图；

融合模块，用于融合多张底层尺度上生成的深度图，获得稠密点云。

8.一种低显存占用的多阶段稠密重建服务器，其特征在于，包括存储器和处理器；

所述存储器用于存储计算机可执行指令；

所述处理器用于执行所述计算机可执行指令，以实现权利要求1-7任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有可执行指令，计算机执行所述可执行指令时能够实现如权利要求1-7任一项所述的方法。