[发明专利]三维稠密重建方法、装置、电子设备及介质

说明书

本申请提供一种三维稠密重建方法、装置、电子设备及介质，该方法包括：计算第一图像块中像素值为1的区域总面积，得到第一值；根据第一值，确定将第一图像块作为第二图像块存入第二图像块集合中，或将第一图像块存入待合并图像块集合中，或将第一图像块丢弃；遍历待合并图像块集合中的第一图像块，对满足第一预设条件的两个第一图像块进行合并处理，得到合并图像块，将合并图像块作为第二图像块存入第二图像块集合中，并将两个第一图像块从待合并图像块集合中剔除；根据第二图像块集合，确定网格块数，结合网格块数和显存资源，并行地对第二图像块集合中每个图像块进行稠密重建。本申请的方法，有效减少了碎片化分块的数量。

技术领域

本申请涉及三维重建技术，尤其涉及一种三维稠密重建方法、装置、电子设备及介质。

背景技术

在城市级的三维建模任务中，通常会拍摄大量的照片（几千甚至上万张），在稠密重建阶段需要耗费大量的算力和时间去估算每张图片的深度图。为了提高计算效率，需要对这一步骤进行并行化处理，将原始图像进行分组，分别计算每组原始图像的深度图和稠密点云，最后再通过点云模型化技术，形成城市级的三维模型。

已知技术中，常采用基于视图数量等间隔分块、空间距离等间隔分块和基于航线分块等常用方法进行分组，然而，视图数量等间隔分块会受视图重叠度的影响而难以综合考虑到视图数量与点云之间的关系。空间距离等间隔分块在处理诸如航线变化复杂的场景时，会产生更多的碎片数据并造成更大的合并误差。基于航线的分块方法能够避免前两种方法产生的问题，但该方法仅适用于单目正射航拍的方式，不适用拍摄时会出现视野交叉的多目摄像头拍摄场景。

因此，提供一种可以对稀疏点云进行快速、均匀、规则地分块，减少在航拍区域的边缘或者不规则区域出现的碎片化分块，并能适用于单目、多目和复杂航线的各种拍摄场景的网格分块方法，是十分必要的。

发明内容

本申请提供一种三维稠密重建方法、装置、电子设备及介质，用以提供一种可以减少碎片化分块的分块方式。

第一方面，本申请提供一种三维稠密重建方法，该方法包括：

遍历第一图像块集合中的第一图像块，计算所述第一图像块中像素值为1的区域总面积，得到第一值；所述第一图像块是对所述第一图像均匀划分后得到的，所述第一图像是根据稀疏点云投影后得到的，所述稀疏点云经过投影后位于所述第一图像块中像素值为1的区域；

根据所述第一值，确定将所述第一图像块作为第二图像块存入第二图像块集合中，或者，将所述第一图像块存入待合并图像块集合中，或者将所述第一图像块丢弃；

遍历所述待合并图像块集合中的第一图像块，对满足第一预设条件的两个第一图像块进行合并处理，得到合并图像块，将所述合并图像块作为所述第二图像块存入所述第二图像块集合中，并将两个所述第一图像块从所述待合并图像块集合中剔除；所述第一预设条件包括：两个所述第一图像块相邻，且合并图像块中像素值为1的区域与区域外接矩的面积比不小于第一预设阈值；

根据所述第二图像块集合，确定网格块数，结合所述网格块数和显存资源，并行地对所述第二图像块集合中每个图像块进行稠密重建。

在另一种可能实现的方式中，若所述第一值不小于第二预设阈值，则将所述第一图像块作为所述第二图像块存入所述第二图像块集合中；若所述第一值小于所述第二预设阈值且大于0，则将所述第一图像块存入所述待合并图像块集合中；否则，将所述第一图像块丢弃。

在另一种可能实现的方式中，所述遍历所述待合并图像块集合中的第一图像块，对满足预设条件的两个第一图像块进行合并处理，得到合并图像块，包括：

对于所述待合并图像块集合中的每一个第一图像块，查找所述待合并图像块集合中是否存在与所述第一图像块上下、左右相邻的图像块，若存在，则将所述图像块与所述第一图像块合并，得到备选合并图像块；