[发明专利]语义点云地图构建方法、装置及电子设备

说明书

本发明涉及点云地图技术领域，提供了一种语义点云地图构建方法、装置及电子设备。上述方法包括：获取车辆的轮速计数据和摄像机采集的图像数据；将轮速计数据和图像数据融合得到每一帧图像的位姿信息；确定每一帧图像中各个像素的语义类别；确定每一帧图像中的图像目标元素在摄像机坐标系下的第一坐标；基于位姿信息和第一坐标，确定图像目标元素的点云坐标；根据点云坐标和图像目标元素的语义类别，生成语义点云地图。上述方法通过车辆现有的轮速计和摄像机采集相关数据，成本较低；通过摄像机坐标系下的坐标和位姿信息确定图像元素的点云坐标，只需要对摄像机做好内参标定与测距标定即可，实现简单。

技术领域

本发明涉及用于自动驾驶的点云地图技术领域，具体涉及在互联网环境下的一种语义点云地图构建方法、装置及电子设备。

背景技术

目前，在智能驾驶这一新兴领域，高精度地图为车辆的自动驾驶提供了更强的先验信息，其不仅可以为智能驾驶的车辆行驶中给出导航信息，又可以提供障碍物的准确位置，保证了车辆的行驶安全与稳定性。

在AVP（Automated Valet Parking，自主代客泊车系统）场景下，由于该场景中可能无GPS/RTK等定位信息，为了让智能驾驶车辆在该场景下定位与导航，语义地图应运而生。在一些语义地图的采集方案中，使用激光雷达配合惯性传感器做语义点云地图的采集，该方案虽然能得到语义地图，但由于激光雷达采集的激光点云数据较大，给后续点云的语义处理带来较大的难度，并且激光雷达的成本较高，无法达到量产的要求。在另外一些方案中，采集的点云数据为特征点角点数据，该特征点对环境依赖较为严重，当环境发生较大变化时，对应的特征点也将发生较大变化，使用该方法采集的地图无法达到时效性要求。

发明内容

为克服相关技术中存在的问题，本申请实施例提供了语义点云地图构建方法、装置及电子设备。

本申请是通过如下技术方案实现的：

第一方面，本申请实施例提供了一种语义点云地图构建方法，包括：获取车辆的轮速计数据和摄像机采集的图像数据，上述图像数据包括多帧图像，上述轮速计数据和多帧图像均有对应的时间戳；按照时间先后顺序，将上述轮速计数据和多帧图像进行融合，得到该多帧图像中的每一帧图像的位姿信息；确定每一帧图像中的图像目标元素在摄像机坐标系下的第一坐标，图像目标元素为多种图像元素中的部分图像元素；基于位姿信息和第一坐标，确定图像目标元素的点云坐标；根据点云坐标和图像目标元素的语义类别，生成语义点云地图。

上述语义点云地图构建方法，通过车辆现有的轮速计和摄像机采集轮速计数据和图像数据，然后将轮速计数据和图像数据融合得到每一帧图像的位姿信息。之后根据每一帧图像中的图像目标元素在摄像机坐标系下的坐标和位姿信息确定各个图像元素点的点云坐标。最后，根据各个图像元素点的语义和点云坐标生成语义点云地图。本申请通过车辆现有的轮速计和摄像机采集相关数据，成本较低；通过摄像机坐标系下的坐标和位姿信息确定图像元素的点云坐标，只需要对摄像机做好内参标定与测距标定即可，实现简单。

基于第一方面，在一些实施例中，上述方法还包括：将轮速计数据和多帧图像录制成ROS bag数据包；上述按照时间先后顺序，将所述轮速计数据和所述多帧图像进行融合，得到所述多帧图像中的每一帧图像的位姿信息，包括：按照时间先后顺序从ROS bag数据包读取ROS bag数据，将轮速计数据与多帧图像在SLAM的框架下进行融合，得到每一帧图像的位姿信息。

基于第一方面，在一些实施例中，上述方法还包括确定多帧图像中的每一帧图像中各个像素对应的语义类别的步骤，该步骤包括：读取上述多帧图像中的每一帧图像，通过深度学习模型对该帧图像进行识别分割，得到该帧图像中每一像素对应的语义类别，并基于语义类别生成MASK图像，MASK图像为与该帧图像具有相同大小的图像，且MASK图像中的每个像素点的值表示该帧图像中对应位置像素点的语义；其中，语义类别包括以下一项或多项：背景、路面车道线、指示箭头、减速带、斑马线、停止线、车位线、柱子和雪糕筒。