[发明专利]一种基于多传感器融合的3D车辆检测方法

权利要求书

1.一种基于多传感器融合的3D车辆检测方法，其特征在于，包括如下步骤：

步骤1，获得车辆的RGB图像，及获取车辆周围环境的激光雷达点云信息；

步骤2，对激光雷达点云信息做预处理，根据汽车的高度，取Z轴[0，2.5]m，将激光雷达点云沿Z轴方向均等的划分成5个高度切片；

步骤3，在激光雷达点云上生成3D车辆感兴趣区域；具体步骤为：

以点云鸟瞰图作为输入，并在之前已生成一系列的3D候选框，将空的候选框移除掉，为剩下每个候选框的内容分配一个二进制的标签，即正标签表示目标车辆、负标签表示背景，通过计算锚框和真实边界框之间的IOU重叠大小，分配正标签给以下两类锚框：

1)与某个真实边界框有最高小于0.5的IOU重叠的锚框；

2)与任意真实边界框大于0.5的IOU交叠的锚框；

分配负标签给与所有真实边界框的IOU都低于0.3的锚框，其中，非正非负的锚框对训练目标没有任何作用，在后续处理忽略不计；

在得到上述的正标签的锚框之后,对其进行初步3D回归优化，假设每个3D预测框用(x,y,z,h,w,d)表示，(x,y,z)表示框的中心点，(h,w,d)表示框的尺寸；在激光雷达坐标系中，通过计算前景ROI与真实边界框之间在中心点及尺寸的不同，即(Δx,Δy,Δz,Δh,Δw,Δd)，为之后映射到特征图上产生的ROI进行区别和初步定位；3D锚框用(x_a,y_a,z_a,h_a,w_a,d_a)表示，3D真实边界框用(x^*,y^*,z^*,h^*,w^*,d^*)表示，t_i表示预测框相对于3D锚框的偏移量，设其6个参数化坐标为t_i＝(t_x,t_y,t_z,t_h,t_w,t_d)，表示3D真实边界框相对于3D锚框的偏移量，设其6个参数化坐标为则有：

t_x＝(x-x_a)/h_a t_y＝(y-y_a)/w_a

t_z＝(z-z_a)/d_a t_h＝log(h/h_a)

t_w＝log(w/w_a) t_d＝log(d/d_a)

通过SmoothL1函数用于3Dbox回归:

使用cross-entropy函数计算目标对象损失：

其中n是目标区域存在边界框个数；

通过计算3D锚框与3D真实边界框之间的质心与尺寸之间的差异来执行3D框回归，最终输出在点云中3D感兴趣区域；

步骤4，分别对处理后的雷达点云和RGB图像进行特征提取并生成相应特征图；

步骤5，将上述的3D车辆感兴趣区域分别映射到雷达点云及RGB图像的特征图上；

步骤6，对步骤5中映射部分特征图进行融合，并最终实现车辆目标的3D定位与检测。

2.根据权利要求1所述的一种基于多传感器融合的3D车辆检测方法，其特征在于，步骤1中，所述RGB图像通过安装在车辆上的摄像头获取；所述激光雷达点云通过位于车顶的激光雷达对周围环境进行扫描获取。

3.根据权利要求1所述的一种基于多传感器融合的3D车辆检测方法，其特征在于，步骤2中的预处理方法包括点云鸟瞰图的处理方法，所述点云鸟瞰图是将点云数据向地面(Z＝0)2D栅格进行投影得到。