[发明专利]基于激光SLAM和视觉融合的变电站语义地图构建方法

权利要求书

1.一种基于激光SLAM和视觉融合的变电站语义地图构建方法，其特征在于，包括如下步骤：

S1、传感器数据的采集和预处理

S1-1对深度相机进行内参标定以及激光雷达和相机的外参联合标定；

S1-2、对深度相机和激光雷达获取的数据进行同步预处理；

S2、变电站语义地图模型的构建

S2-1通过激光雷达采集的点云数据以及里程计信息进行运维环境的地图建模；

S2-2、获取深度相机的RGBD图像，通过深度学习进行目标识别，以及场景信息理解，获取其语义信息；

S2-3、进行坐标转换，将步骤S2-2中识别的目标投影至栅格地图中，为变电站提供环境认知信息；

S3、重复步骤S2，完成语义地图的融合构建。

2.根据权利要求1所述的基于激光SLAM和视觉融合的变电站语义地图构建方法，其特征在于，所述步骤S1-1中，深度相机的内参标定方法如下：确定标定板与实际标定板中特征点之间的对应关系，获取深度相机的内参和畸变系数。

3.根据权利要求1所述的基于激光SLAM和视觉融合的变电站语义地图构建方法，其特征在于，所述步骤S1-1中，激光雷达和相机的外参联合标定方法如下：通过寻找激光雷达检测的三维点和对应的深度相机检测的二维点来实现激光雷达和深度相机外参联合标定。

4.根据权利要求1所述的基于激光SLAM和视觉融合的变电站语义地图构建方法，其特征在于，所述步骤S1-2中，首先确保激光雷达和深度相机在硬件上的时钟源统一；然后使用时间同步器进行处理。

5.根据权利要求1所述的基于激光SLAM和视觉融合的变电站语义地图构建方法，其特征在于，所述步骤S2-1中，首先，根据激光雷达在高速旋转过程中不断发射激光束和获取反射信息，进而采集其变电站工作范围内障碍物的距离信息，组合成空间点云信息，经过滤波处理、地图拼合、回环检测从而得到变电站地图信息，最后根据得到的变电站地图信息进行运维环境的地图建模。

6.根据权利要求5所述的基于激光SLAM和视觉融合的变电站语义地图构建方法，其特征在于，所述运维环境的地图建模，运用cartographer算法，整个cartographer算法的数据流过程是一开始从传感器出发采集激光雷达和里程计两种传感器数据，每一帧激光雷达数据会先经过滤波器进行降采样，然后进入局部SLAM进行局部匹配获得相机位姿，然后融合里程计数据对位姿估计进行优化。

7.根据权利要求6所述的基于激光SLAM和视觉融合的变电站语义地图构建方法，其特征在于，所述每一帧激光雷达数据还需进行运动过滤，剔除位置移动距离过小或时间间隔较近的点云数据，若能够通过过滤就将这一帧扫描数据更新到子图中；当子图构建完成不再接收新的扫描数据时，会将其加入到全局SLAM中形成全局约束用来参与后端的回环检测。

8.根据权利要求1所述的基于激光SLAM和视觉融合的变电站语义地图构建方法，其特征在于，所述步骤S2-2中，在获取深度相机RGBD图之后，深度学习模块运用YOLO v3算法，可以识别出物体的语义信息和它在图像中的位置，再根据从深度相机获取的图像深度信息，可以通过深度信息知道物体相对于深度相机的角度、位置，其目标的尺度信息则可采用场景理解的方法。

9.根据权利要求8所述的基于激光SLAM和视觉融合的变电站语义地图构建方法，其特征在于，所述场景理解的方法为：利用巡检环境长直的特性，通过分析灭点与在灭点检测过程中得到的水平、垂直及纵深方向的三个直线组之间的关系，得到了检测目标的特征线；再利用交比不变性与目标立方体的关系，得到特定目标的几何参数，从而实现坐标转换和地图标注。

10.根据权利要求1所述的基于激光SLAM和视觉融合的变电站语义地图构建方法，其特征在于，所述步骤S2-3中，经过运算能将像素平面坐标映射至成像平面，式中(u,v,1)代表目标在像素坐标系下的齐次坐标，u₀和v₀为像素坐标系原点与光轴的平移关系，Z_c为深度相机测量得到的物体深度信息，f_x和f_y为相机分别在x和y方向的焦距，可通过标定获取，

相机坐标系与机器人坐标系之间存在平移和旋转关系，旋转矩阵R和平移矩阵T属于相机外参，可由人为设定，经过运算，获取目标物体在机器人坐标系中的坐标表示，

通过坐标转换，用不同颜色的立方体代表不同类型的检测目标，立方体用MarkerArray在地图上进行标识，即完成了语义地图的构建。