[发明专利]一种大场景的三维重建方法、装置及设备

说明书

本发明公开了一种大场景的三维重建方法、装置及设备。根据采集的RGBD关键帧构建多个子图，并基于所述多个子图构建目标场景对应的初始三维模型；对所述初始三维模型进行语义分割及实例分割，获得所述初始三维模型包含的语义标签和实例标签；根据所述语义标签检测所述初始三维模型中包含的房间，确定为新的房间；根据所述新的房间包含的实例标签对历史房间进行回环检测，获得与所述新的房间属于同一房间的历史房间；对所述多个子图的位姿进行优化，并基于优化后的多个子图构建目标三维模型。本发明实施例提供的大场景的三维重建方法，可以实现大尺度场景的三维重建，提高三维重建的精度。

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种大场景的三维重建方法、装置及设备。

背景技术

室内三维重建是计算机视觉领域的一个重要的问题，其目标是得到室内场景的三维几何模型。随着近年消费级RGBD深度相机的普及，使用RGBD深度相机重建室内三维模型是一个热门的研究方向。相比于传统的激光测距设备，RGBD三维建模的优势在于传感器成本低、便携性强，目前已经在众多便携设备如手机、平板电脑上搭载。使用移动设备重建室内三维模型对手机智能应用有着很大的意义。例如，虚拟现实游戏或智能导航都需要知道场景的几何信息。

现有的三维建模方法已经可以实现小范围内比较高精度的几何建模，然而受限于重建系统的复杂度，这些方法可以重建的场景面积通常局限在房间级别。当重建面积增大时，现有方法不可避免地出现内存不足、性能大幅降低的问题。

发明内容

本发明实施例提供一种大场景的三维重建方法、装置及设备，可以实现大尺度场景的三维重建，提高三维重建的精度。

第一方面，本发明实施例提供了一种大场景的三维重建方法，包括：

根据采集的RGBD关键帧构建多个子图，并基于所述多个子图构建目标场景对应的初始三维模型；

对所述初始三维模型进行语义分割及实例分割，获得所述初始三维模型包含的语义标签和实例标签；

根据所述语义标签检测所述初始三维模型中包含的房间，确定为新的房间；

根据所述新的房间包含的实例标签对历史房间进行回环检测，获得与所述新的房间属于同一房间的历史房间；

对所述多个子图的位姿进行优化，并基于优化后的多个子图构建目标三维模型。

第二方面，本发明实施例还提供了一种大场景的三维重建装置，包括：

初始三维模型构建模块，用于根据采集的RGBD关键帧构建多个子图，并基于所述多个子图构建目标场景对应的初始三维模型；

语义和实例分割模块，用于对所述初始三维模型进行语义分割及实例分割，获得所述初始三维模型包含的语义标签和实例标签；

新的房间确定模块，用于根据所述语义标签检测所述初始三维模型中包含的房间，确定为新的房间；

回环检测模块，用于根据所述新的房间包含的实例标签对历史房间进行回环检测，获得与所述新的房间属于同一房间的历史房间；

位姿优化模块，用于对所述多个子图的位姿进行优化，并基于优化后的多个子图构建目标三维模型。

第三方面，本发明实施例还提供了一种计算机设备，所述设备包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例所述的大场景的三维重建方法。