[发明专利]一种基于多传感器融合的3D车辆检测方法

说明书

本发明公开了一种基于多传感器融合的3D车辆检测方法，包括：步骤1，通过安装在车辆上的摄像头获得车辆的语义信息(即RGB图像)，及位于车顶的激光雷达对车辆周围环境进行扫描，获取环境的精确深度信息(即激光雷达点云)；步骤2，对激光雷达点云做预处理，根据汽车的高度，取Z轴[0，2.5]m，将点云沿Z轴方向均等的划分成5个高度切片；步骤3，在激光雷达点云上生成3D车辆感兴趣区域；步骤4，分别对处理后的雷达点云和RGB图像进行特征提取并生成相应特征图；步骤5，将上述的3D车辆感兴趣区域分别映射到点云及RGB图像的特征图上；步骤6，对步骤5中映射部分特征图进行融合，并最终实现车辆目标的3D定位与检测。

技术领域

本发明属于自动驾驶领域，具体涉及一种基于多传感器融合的车辆3D检测方法。

背景技术

智能车是一个包括感知、决策及控制等技术的复杂系统，环境感知对于路径规划和决策控制提供了根本信息，而汽车检测是自主车环境感知系统中极其关键的工作，主流的障碍物检测传感器是摄像头和激光雷达，现在基于视觉的车辆检测已经取得了很好的效果，摄像头成本低，能够获得目标的纹理及颜色，因此在智能驾驶方面广为使用，然而摄像头对光照以及阴影部分较敏感，不能提供精确和足够的位置信息，常常导致实时性不高或鲁棒性太差等问题。激光雷达能够获取目标距离和三位信息，探测距离远且不受光照影响，但对目标的纹理及颜色无法确定，所以单一的传感器无法满足自主驾驶的需求。因此采用激光雷达与摄像头进行数据融合以完成车辆检测与跟踪任务，降低车辆检测中对单一传感器检测效果的依赖，并获得较高的3D车辆检测率。

发明内容

本发明的目的是为了更好的对周围车辆进行检测，从而为智能车路径规划和决策提供根本信息，提出一种基于传感器融合的3维(3D)车辆检测方法，能够获得较高的3D车辆检测率。

本发明提出的基于多传感器融合的3D车辆检测方法采用的技术方案包括如下步骤：

一种基于多传感器融合得的3D车辆检测方法，包括如下步骤：

步骤1，通过安装在车辆上的摄像头获得车辆的语义信息(即RGB图像)，及位于车顶的激光雷达对车辆周围环境进行扫描，获取环境的精确深度信息(即激光雷达点云)；

步骤2，对激光雷达点云做预处理，根据汽车的高度，建立以激光雷达垂直向下与地面接触点为原点、车辆行驶方向为X轴正方向、驾驶员左边为Y轴正方向、垂直地面向上为Z轴正方向坐标系，取Z轴[0，2.5]m，将点云沿Z轴方向均等的划分成5个高度切片；

步骤3，在激光雷达点云上生成3D车辆感兴趣区域；

步骤4，分别对处理后的雷达点云和RGB图像进行特征提取并生成相应特征图；

步骤5，将上述的3D车辆感兴趣区域分别映射到点云及RGB图像的特征图上；

步骤6，对步骤5中映射部分特征图进行融合，并最终实现车辆目标的进行3D定位与检测。

进一步地，步骤2的预处理包括点云鸟瞰图(BEV)的处理方法：

点云的鸟瞰图(BEV)是将点云数据向地面(Z＝0)2D栅格进行投影得到，为了得到更详细的高度信息，以激光雷达位置为中心点，取在BEV左右位置[-40,40]m,前方位置[0,70]m。并根据汽车的实际高度，取Z轴[0，2.5]m，将点云沿Z轴方向均等的划分成5个高度切片，对于每个切片向地面(Z＝0)2D栅格进行投影，每个切片对应的高度特征取为投影到该栅格地图点云数据的最大高度值。点云密度M是指每个单元格的点云个数，并使每个栅格的取值归一化：

其中N为单位栅格地图中点云的个数。

进一步地，步骤3的具体步骤为：