[发明专利]语义点云地图构建方法、装置及电子设备

权利要求书

1.一种语义点云地图构建方法，其特征在于，包括：

获取车辆的轮速计数据和摄像机采集的图像数据，所述图像数据包括多帧图像，所述轮速计数据和所述多帧图像均有对应的时间戳；

按照时间先后顺序，将所述轮速计数据和所述多帧图像进行融合，得到所述多帧图像中的每一帧图像的位姿信息；

确定每一帧图像中的图像目标元素在摄像机坐标系下的第一坐标，所述图像目标元素为多种图像元素中的部分图像元素；

基于所述位姿信息和所述第一坐标，确定所述图像目标元素的点云坐标；

根据所述点云坐标和所述图像目标元素的语义类别，生成语义点云地图；

所述方法还包括：

读取所述多帧图像中的每一帧图像，通过深度学习模型对该帧图像进行识别分割，得到该帧图像中每一像素对应的语义类别，并基于所述语义类别生成MASK图像，所述MASK图像为与该帧图像具有相同大小的图像，且MASK图像中的每个像素点的值表示该帧图像中对应位置像素点的语义；

其中，所述语义类别包括以下一项或多项：背景、路面车道线、指示箭头、减速带、斑马线、停止线、车位线、柱子和雪糕筒；

所述确定每一帧图像中的图像目标元素在摄像机坐标系下的第一坐标，包括：

对某一帧图像，读取该帧图像对应的目标帧MASK图像；

对于所述目标帧MASK图像中的每一像素点，若该像素点对应的图像元素为所述图像目标元素，则根据该图像元素在所述目标帧MASK图像中的第二坐标确定所述第一坐标；

基于所述第一坐标确定该像素点是否位于感兴趣区域，若不位于所述感兴趣区域则将该像素点删除。

2.如权利要求1所述的语义点云地图构建方法，其特征在于，所述方法还包括：将所述轮速计数据和所述多帧图像录制成ROS bag数据包；

所述按照时间先后顺序，将所述轮速计数据和所述多帧图像进行融合，得到所述多帧图像中的每一帧图像的位姿信息，包括：

按照时间先后顺序从所述ROS bag数据包读取ROS bag数据，将所述轮速计数据与所述多帧图像在SLAM的框架下进行融合，得到每一帧图像的位姿信息。

3.如权利要求1所述的语义点云地图构建方法，其特征在于，所述根据该图像元素在所述目标帧MASK图像中的第二坐标确定所述第一坐标，包括：

该图像元素的第二坐标为pix(u,v)，则第一坐标coor_cam(x,y,z)通过

计算得到，其中m₁₁、m₁₂、m₂₁、m₂₂、m₃₁、m₃₂为摄像机与车辆的外参。

4.如权利要求1所述的语义点云地图构建方法，其特征在于，所述基于所述位姿信息和所述第一坐标，确定所述图像目标元素的点云坐标，包括：

获取当前帧图像的位姿信息；

根据当前帧图像的位姿信息和所述第一坐标，通过P_w=T_cam*P_cam计算图像目标元素的点云坐标，P_cam为第一坐标，T_cam为位姿信息。