[发明专利]一种激光与图像数据融合的三维重建方法及系统

权利要求书

1.一种激光与图像数据融合的三维重建方法，其特征在于，所述方法包括：

获取待重建三维场景中激光雷达的三维点云数据和相机的RGB图像数据；

将所述激光雷达的三维点云数据映射至相机的二维图像空间中，构建稀疏深度图；

将所述稀疏深度图转化为稠密深度图，获取每一帧图像的RGB信息和深度信息；

构建待重建三维场景的晶体网格，将所述每一帧图像的深度信息映射至所述晶体网格中，确定重建三维模型的表面；

将所述每一帧图像的RGB信息映射至所述重建三维模型的表面，形成纹理信息，获取重建三维模型。

2.如权利要求1所述的方法，其中，所述激光雷达的三维点云数据包括多个点的扫描数据，

其中，所述将所述激光雷达的三维点云数据映射至相机的二维图像空间中，构建稀疏深度图，包括：

将所述多个点的扫描数据分别转换至笛卡尔坐标系，得到第一数据，其中，所述第一数据包括多个三维坐标点P；

根据标定数据将所述第一数据映射至所述二维图像空间中，得到第二数据，其中，所述第二数据包括多个映射点P^/；

根据所述第二数据构建稀疏深度图。

3.如权利要求2所述的方法，其中，所述标定数据至少包括三维点云数据与RGB图像数据对其后的偏移矩阵M_o和相机的内参矩阵M_i，

其中，根据标定数据将所述第一数据映射至所述二维图像空间中，得到第二数据，其中，所述第二数据包括多个映射点P^/，包括：

根据所述标定数据，将所述多个映射点P^/分别映射至所述二维图像空间中，获取所述多个映射点P^/，其中，

4.如权利要求2所述的方法，其中，所述将所述稀疏深度图转化为稠密深度图，包括：

将所述第一数据和所述第二数据输入至第一神经网络，获取引导参数图、第一置信度权重图和第一预测深度图；

将所述第一数据和所述引导参数图输入第二神经网络，获取第二置信度权重图和第二预测深度图；

将所述第一置信度权重图和所述第二置信度权重图进行分类输出，并与所述第一预测深度图和所述第二预测深度图进行叠加，得到稠密深度图。

5.如权利要求1所述的方法，其中，所述晶体网格包括多个大小相同的晶格，所述晶格至少存储有该晶格距离所述重建三维模型的表面的距离值F和该晶格的权重值W，

其中，所述构建待重建三维场景的晶体网格，将所述每一帧图像的深度信息映射至所述晶体网格中，确定重建三维模型的表面，包括：

对所述待重建三维场景进行体素化，构建晶体网格，并将当前帧图像的深度信息投影至所述晶体网格中；

从传感器平面出发，将所述当前帧图像中每个像素点发射一条到达视锥体远平面的射线，沿该射线遍历该射线所有相交的晶格，其中，所述传感器平面为所述激光雷达和所述相机在所述待重建三维场景内安装于同一刚性结构上形成的图像平面；

根据所述所有相交的晶格及其存储的距离值F，确定所有交点的位置；

将所述所有交点的集合面作为所述重建三维模型的表面。

6.如权利要求5所述的方法，其中，所述激光雷达和所述相机在所述待重建三维场景内安装于同一刚性结构上构成传感器，所述传感器在待重建三维场景中移动，

其中，所述方法还包括：

建立相邻两帧图像中各个映射点的对应关系，确定所述相邻两帧图像之间的变换矩阵M；

基于所述变换矩阵M，确定所述相邻两帧图像之间的目标变换矩阵M_opt，其中，s和d分别表示前一帧图像和当前帧图像中的同一映射点，n表示所述前一帧图像到所述当前帧图像的法线向量；

基于所述标变换矩阵M_opt，确定所述传感器在所述待重建三维场景中的位置姿态；

根据所述传感器在所述待重建三维场景中的位置姿态更新所述晶体网格中每个晶格存储的信息。