[发明专利]一种激光融合多目相机的语义实景三维重建方法及系统

权利要求书

1.一种激光融合多目相机的语义实景三维重建方法，其特征在于，包括：

获取多目相机图像并校正多目相机图像；

获取激光点云数据及视觉惯性里程计数据，根据时间戳将激光点云数据与视觉惯性里程计数据对齐来校正激光点云数据；

具体地，利用激光雷达获得原始点云数据，惯性测量单元和相机获取视觉惯性里程计数据，根据时间戳将激光点云数据与视觉惯性里程计数据进行对齐，其中视觉惯性里程计位姿信息由惯性测量单元数据、图像数据及它们之间的外参计算优化得到，根据视觉惯性里程计的位姿信息将激光坐标系下的点云_PL校正到世界坐标系下用_PW表示，其中是激光雷达数据转换到到视觉惯性里程计的坐标变换；

插值校正后的激光点云数据，得到稠密点云并将其投影到成像平面，再与校正后的多目相机图像的像素进行匹配，得到各帧带有RGB信息的稠密点云再叠加后得到实景点云；

从校正后的多目相机图像获取语义信息，得到实例对象点云并将其与实景点云融合，得到语义实景重建的三维模型；

所述实例对象点云与实景点云融合的过程为：

对该实例对象点云进行离群点剔除，得到优化后的点云实例对象，为每个点云实例对象分配一个id；

对单帧点云中不同id的实例对象在局部范围内进行融合；

对于不同帧点云中的实例对象在全局范围内进行融合。

2.如权利要求1所述的激光融合多目相机的语义实景三维重建方法，其特征在于，在局部范围和全局范围内融合的条件均为：①具有相同的实例对象的类别，②两实例对象的形心距离在设定阈值内，③两实例对象ICP匹配的重合度在设定阈值内。

3.如权利要求1所述的激光融合多目相机的语义实景三维重建方法，其特征在于，将实例对象在图像中所占的像素区域与校正后的激光点云数据进行重投影对齐，得到不同实例对应的点云数据，即实例对象点云数据。

4.如权利要求1所述的激光融合多目相机的语义实景三维重建方法，其特征在于，利用预先标定好的相机内参、畸变系数及畸变模型进行去畸变处理得到校正后的多目相机图像。

5.如权利要求1所述的激光融合多目相机的语义实景三维重建方法，其特征在于，使用深度神经网络的实例分割算法对当前帧的校正后的多目相机图像提取出图像中的各个实例，得到各实例的mask和class，其中mask是实例对象在图像中所占的像素区域，class是实例对象的类别。

6.如权利要求1所述的激光融合多目相机的语义实景三维重建方法，其特征在于，插值校正后的激光点云数据之前，还包括：

对于校正好的每一帧激光点云数据，按照时间戳在校正后的多目相机图像中找到对应图像及其相机ID，利用相机ID获得预先标定好的相机内参、畸变系数及其与激光雷达之间的外参；

使用当前相机与激光雷达之间的外参将校正后的点云数据重投影到相机成像范围内，提取相机视野内的点云，过滤掉不在相机成像范围内的点云。