[发明专利]基于深度学习的高光谱和激光雷达4D防抖融合方法及系统

说明书

本发明公开了一种基于深度学习的高光谱和激光雷达4D防抖融合方法及系统。所述方法：1）激光雷达采集得到的点云首先通过已知内参进行3D‑2D空间变换，生成深度图；2）该深度图和高光谱图像被一起输入进HLFN（高光谱相机和激光雷达融合网络）中，HLFN分别对高光谱和深度图进行特征提取并对二者进行特征融合，根据融合后的特征计算出旋转向量r和平移向量t；3）将旋转向量r变换成旋转矩阵R，最终生成一个预测变换矩阵T；4）原始点云再通过预测变换矩阵T进行3D‑3D空间变换，生成校正点云；5）校正点云与高光谱图像处于同一坐标系下，融合生成最终的4D融合数据。本发明可实现在设备机械抖动条件下快速精确采集高光谱形貌4D融合信息，可应用于多领域。

技术领域

本发明涉及高光谱与激光雷达数据融合领域，特别是涉及一种基于深度学习的高光谱和激光雷达4D防抖融合方法及系统。

背景技术

在智能自动化设备中，为了克服单一传感器的信息维度感知缺陷，越来越多的应用需要多传感器融合技术。

在智能驾驶和智能机器人技术中，高光谱相机和激光雷达的数据融合技术备受瞩目。一方面，高光谱相机可以同时采集一个目标的多个波段的光谱信息，其丰富的光谱特征为目标识别、语义分割以及物质属性分析和分类等奠定了坚实基础；另一方面，激光雷达可以获得目标精确的3D点云数据，对目标的距离、形状、大小和体积等数据的感知具有重要价值。

但目前高光谱图像和激光雷达的4D信息融合技术大都是基于标定板进行外参标定实现的，需要繁杂的标定步骤和大量的人力付出，这限制了高光谱相机和激光雷达之间数据融合的效率。同时，现有技术对高光谱相机和激光雷达之间的外参大都是一次标定，在后续使用过程中标定参数不再改变，这导致了其在长期抖动环境下因实际外参改变而带来的融合精度下降问题。

发明内容

为了克服现有技术的不足，本发明的目的是提供一种基于深度学习的高光谱和激光雷达4D防抖融合方法及系统。本发明可实现在设备机械抖动条件下快速精确采集高光谱形貌4D融合信息，有助于目标识别、语义分割、物质属性分析、精确定位等应用。

一种基于深度学习的高光谱和激光雷达4D防抖融合方法，步骤如下：

1）激光雷达采集得到的点云首先通过已知内参进行3D-2D空间变换，生成相应的深度图；

2）该深度图和高光谱图像被一起输入进HLFN（高光谱相机和激光雷达融合网络）中，HLFN分别对高光谱和深度图进行特征提取并对二者进行特征融合，根据融合后的特征计算出旋转向量r和平移向量t；

3）将旋转向量r通过罗德里格斯公式(SE(3))变换成旋转矩阵R，最终生成一个预测变换矩阵T，该矩阵指明了高光谱相机与激光雷达之间的外参关系；

4）原始点云再通过预测变换矩阵T进行3D-3D空间变换，生成校正点云；

5）校正点云与高光谱图像处于同一坐标系下，二者融合生成最终的4D融合数据。

所述HLFN训练方法，步骤如下：

2.1）用真实变换矩阵对点云进行3D-3D空间变换，并与高光谱图像融合，得到对照点云、对照深度图和对照光谱图；

2.2）将点云和高光谱图像按照所述的步骤1）至步骤3）计算得出预测变换矩阵；

2.3）用预测变换矩阵对点云进行3D-3D空间变换，并与高光谱图像融合，得到校正点云、校正深度图和校正光谱图；

2.4）对照点云和校正点云之间形成几何损失约束，对照深度图和校正深度图之间形成光度损失约束，对照光谱图和校正光谱图之间形成光谱损失约束；

2.5）最终的损失是2.4）中所述三个损失之和，并由三个超参数平衡它们；

2.6）通过反向传播，HLFN网络参数不断迭代训练，使损失函数最小化。

步骤2.1）中真实变换矩阵由高光谱相机和激光雷达使用传统外参标定方法获得。