[发明专利]一种激光融合多目相机的语义实景三维重建方法及系统

说明书

本发明属于多传感器融合的三维重建技术领域，提供了一种激光融合多目相机的语义实景三维重建方法及系统。其中，该方法包括获取多目相机图像并校正多目相机图像；获取激光点云数据及视觉惯性里程计数据，根据时间戳将激光点云数据与视觉惯性里程计数据对齐来校正激光点云数据；插值校正后的激光点云数据，得到稠密点云并将其投影到成像平面，再与校正后的多目相机图像的像素进行匹配，得到各帧带有RGB信息的稠密点云再叠加后得到实景点云；从校正后的多目相机图像获取语义信息，并与校正点云匹配得到实例对象点云并将其与实景点云融合，得到语义实景重建的三维模型。

技术领域

本发明属于多传感器融合的三维重建技术领域，尤其涉及一种激光融合多目相机的语义实景三维重建方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

三维重建是获取现实世界三维结构信息最重要的技术手段，也是摄影测量、计算机视觉、遥感测绘等领域的重要研究课题。目前常用的三维重建方法主要使用点云扫描设备生成点云三维模型，包括飞行时间法(TOF)和立体视觉。立体视觉主要使用相机作为数据采集设备，具有设备造价低、测量范围大等优点，但因其过度依赖相机图像，受光照变化影响较大，当被测物体表面纹理单一、光照变化较大时效果较差。TOF法主要使用红外深度相机和激光雷达作为数据采集设备，前者因为发射功率低测量范围较小，仅适合室内等小范围的模型重建，而后者测量距离远、精度高适合室外大场景的三维重建。

随着计算机视觉和深度学习技术的快速发展，三维重建在自动驾驶、AR、数字城市、古迹修复、智慧矿山等领域发挥着越来越重要的作用。但是发明人发现，传统的三维模型重建已不能满足现实作业中对场景重建模型的高精度、高信息量的需求。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种激光融合多目相机的语义实景三维重建方法及系统，其适合室外大场景建图，重建模型的精度高、信息丰富，便于数字场景搭建，是人机智能化协同工作的重要数据基础，可广泛应用于数字城市、智慧矿山等的地图重建中。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种激光融合多目相机的语义实景三维重建方法。

一种激光融合多目相机的语义实景三维重建方法，包括：

获取多目相机图像并校正多目相机图像；

获取激光点云数据及视觉惯性里程计数据，根据时间戳将激光点云数据与视觉惯性里程计数据对齐来校正激光点云数据；

插值校正后的激光点云数据，得到稠密点云并将其投影到成像平面，再与校正后的多相机图的像素进行匹配，得到各帧带有RGB信息的稠密点云再叠加后得到实景点云；

从校正后的多目相机图像获取语义信息，并将语义信息与点云数据匹配得到实例对象点云并将其与实景点云融合，得到语义实景重建的三维模型。

本发明的第二个方面提供一种激光融合多目相机的语义实景三维重建系统。

一种激光融合多目相机的语义实景三维重建系统，其包括：

多目相机图像获取及校正模块，其用于获取多目相机图像并校正多目相机图像；

激光点云数据获取及校正模块，其用于获取激光点云数据及视觉惯性里程计数据，根据时间戳将激光点云数据与视觉惯性里程计数据对齐来校正激光点云数据；

实景点云构建模块，其用于插值校正后的激光点云数据，得到稠密点云并将其投影到成像平面，再与校正后的多相机图的像素进行匹配，得到各帧带有RGB信息的稠密点云再叠加后得到实景点云；