[发明专利]一种激光与图像数据融合的三维重建方法及系统

说明书

本发明公开了一种激光与图像数据融合的三维重建方法，包括：获取待重建三维场景中激光雷达的三维点云数据和相机的RGB图像数据；将所述激光雷达的三维点云数据映射至相机的二维图像空间中，构建稀疏深度图；将所述稀疏深度图转化为稠密深度图，获取每一帧图像的RGB信息和深度信息；构建待重建三维场景的晶体网格，将所述每一帧图像的深度信息映射至所述晶体网格中，确定重建三维模型的表面；将所述每一帧图像的RGB信息映射至所述重建三维模型的表面，形成纹理信息，获取重建三维模型。本发明还公开了一种激光与图像数据融合的三维重建系统。本发明将被动式三维重建和主动式三维重建产生的数据进行融合和互通，实现三维场景的实时重建。

技术领域

本发明涉及计算机视觉技术领域，具体而言，涉及一种激光与图像数据融合的三维重建方法及系统。

背景技术

三维重建技术指的是通过二维图像数据获取、深度数据提取、点云提取和匹配、表面生成、法线生成和纹理映射等一系列过程，从离散的数据中获取和整合得到三维表面网格模型的过程。通过三维重建方法的运用，可以将真实世界中的物体转换为计算机逻辑数据能够表达的数字模型，并且在虚拟环境中渲染或者用于数学和物理仿真运算。近年来，对于三维重建技术的研究主要分为两个方向，即被动式三维重建技术和主动式三维重建技术。

(1)被动式三维重建：利用周围可见光下的自然环境，使用照相机拍照生成大量图像，然后通过特定算法计算得到物体的立体空间信息。常见的被动式重建算法为立体视觉法(Multi-View Stereo，MVS)，它利用不同视点上的两幅或多幅图像，首先计算得到每幅图像中包含的特征点信息，将相邻图像的特征点进行对齐和匹配，然后基于视差原理获取图像对应点之间的位置偏差，进而模拟人类的视觉系统，恢复出图像本身的位置姿态数据和图像中包含的三维信息。这类方法通常运算量较大，对实际物体尺寸的估算存在偏差；同时在图像基线距离较大，或者被重建物体的表面非常光滑没有特征信息的情况下，重建效果明显降低，甚至不可用。

(2)主动式三维重建：利用激光、声波、电磁波等光源或能量源，发射多条射线至目标物体，通过接收返回的光波或者能量信息来获取物体相对于光源或能量源的深度信息。常见的主动式重建方法包括：飞行时间法(Time of Flight，ToF)，通过测量发射信号与接收信号的飞行时间间隔来获得能量源与物体的深度距离；结构光法(Structured Light)，通过向物体表面发射具有特征信息的网格状光线，依据视觉识别到光源中的立体信息来辅助提取物体的深度信息。这类方法容易受到环境因素的影响，如太阳光等，导致景物深度不准确，并且光源或者能量源本身存在系统误差与随机误差，对测量结果的影响很大，需要进行后期数据处理。

上述两种重建方法的执行流程差异很大，中间数据和结果数据无法互通，只能并行输出。在实际使用中，往往只能选择一种方案来具体实施，工作效率较低，无法通过工作流或者数据的融合来改善每种方法自身的缺陷。

发明内容

为解决上述问题，本发明的目的在于提供一种激光与图像数据融合的三维重建方法及系统，将被动式三维重建和主动式三维重建产生的数据进行融合和互通，实现三维场景的实时重建。

本发明提供了一种激光与图像数据融合的三维重建方法，所述方法包括：

获取待重建三维场景中激光雷达的三维点云数据和相机的RGB图像数据；

将所述激光雷达的三维点云数据映射至相机的二维图像空间中，构建稀疏深度图；

将所述稀疏深度图转化为稠密深度图，获取每一帧图像的RGB信息和深度信息；

构建待重建三维场景的晶体网格，将所述每一帧图像的深度信息映射至所述晶体网格中，确定重建三维模型的表面；

将所述每一帧图像的RGB信息映射至所述重建三维模型的表面，形成纹理信息，获取重建三维模型。