[发明专利]基于相机和激光雷达的无人驾驶平台实时目标3D检测方法

权利要求书

1.一种基于相机和激光雷达的无人驾驶平台实时目标3D检测方法，其特征在于：步骤如下：

步骤1、标定相机内部参数以及激光雷达的外部参数，相机采集初始图像数据、激光雷达采集初始点云数据，转入步骤2和步骤3；

步骤2、通过时空同步算法，对相机采集的初始图像数据、激光雷达采集的初始点云数据进行时空同步的像素级融合，得到具有时空一致性的融合数据，转入步骤4和步骤5；

步骤3、通过数据分析算法，实现基于RANSAC算法的地面去除及欧式几何聚类算法的目标点云分离，生成目标候选集，转入步骤4和步骤5；

步骤4、利用具有时空一致性的融合数据及目标候选集的标定检测结果数据，对改进式faster-rcnn网络架构进行参数训练至收敛，转入步骤5；

步骤5、利用目标候选集的提取目标候选区域，基于resnet101网络对目标物体进行种类判断及定位回归，输出目标物体的种类、长度、宽度、高度、中心点相对于无人驾驶平台空间坐标的距离、偏航角度、横滚角度、俯仰角度；即获得目标物体的3D检测信息；

步骤2中，对相机采集的初始图像数据、激光雷达采集的初始点云数据进行时空同步的像素级融合，得到具有时空一致性的融合数据，具体如下：

步骤2-1、基于时间同步算法选择与当前采集的点云数据的标准时间最接近的时间戳所对应的图像数据，进行误差小于0.015秒的精确时间同步，获得具有时间同步的图像数据和点云数据，转入步骤2-2；

步骤2-2、根据标定的相机内部参数以及激光雷达的外部参数，结合时间同步的图像数据和点云数据，通过基于激光雷达外部参数所提供的激光雷达相对于相机的参数矩阵相机内部参数矩阵calib.P，根据空间转换计算公式其中img为同步时间戳的图像数据，计算出其同步点云数据在相机中的坐标信息point，完成空间同步，生成具有时空一致性的融合数据；

步骤3中，通过数据分析的方法，实现基于RANSAC的地面去除及欧式几何聚类算法的目标点云分离，生成目标候选集，具体如下：

步骤3-1、根据激光雷达的外部参数，通过基于激光雷达外部参数所提供的激光雷达相对于无人驾驶平台的参数矩阵计算出当前点云数据在无人驾驶平台坐标系下的数据，转入步骤3-2；

步骤3-2、基于距离分析和高斯滤波算法过滤初始点云数据中的错误数据，并通过邻近有效值的插值算法补齐缺失的点云数据，生成预处理后的点云数据，转入步骤3-3；

步骤3-3、基于RANSAC的平面拟合算法，对所得的点云数据进行地面点云的匹配及去除，生成分离的点云集合，转入步骤3-4；

步骤3-4、设置合理的聚类半径参数，基于欧式几何聚类算法对点云集合进行目标点云的检测与分离，生成目标候选集。

2.根据权利要求1所述的基于相机和激光雷达的无人驾驶平台实时目标3D检测方法，其特征在于，所述激光雷达的外部参数包括激光雷达相对于相机的外部参数矩阵和激光雷达相对于无人驾驶平台的外部参数矩阵。

3.根据权利要求1所述的基于相机和激光雷达的无人驾驶平台实时目标3D检测方法，其特征在于，步骤3-2中基于距离分析和高斯滤波算法过滤初始点云数据中的错误数据，并通过数据分析补齐缺失数据，生成预处理后的点云数据，具体如下：

步骤3-2-1、基于点云数据间的距离信息计算，利用高斯滤波器，对原始点云进行过滤，去除离群的错误点云，转入步骤3-2-2；

步骤3-2-2、对于每一线雷达数据的缺失点云数据段，搜索其两端最邻近有效数据的数值及位置，转入步骤3-2-3；

步骤3-2-3、计算插值补齐的单位距离，设置距离阈值，对于阈值较小的数据通过插值算法进行缺失点云数据的补齐。

4.根据权利要求1所述的基于相机和激光雷达的无人驾驶平台实时目标3D检测方法，其特征在于，步骤4中，改进式faster-rcnn网络与现有faster-rcnn网络相比，通过数据融合将聚类检测生成的目标候选集所对应图像部分区域，替代现有faster-rcnn网络中的区域生成网络。