[发明专利]基于相机和激光雷达的无人驾驶平台实时目标3D检测方法

说明书

本发明公开了一种基于相机和激光雷达的无人驾驶平台实时目标检测系统，通过对相机和激光雷达的原始数据进行时空同步的像素级融合，利用所得的时空同步数据结合激光雷达的数据分析方法得到聚类检测结果，构建改进式faster‑rcnn网络架构对其进行参数训练并用于实时检测，输出无人驾驶平台周围目标物体的种类、长度、宽度、高度、中心点相对于无人驾驶平台空间坐标的距离、偏航角度、横滚角度、俯仰角度。本发明根据该系统及其检测方法采用传统聚类和人工智能的融合算法，克服了图像检测空间定位精度低和点云检测难以判断类别的缺点，实现了无人驾驶平台场景中基于相机和激光雷达的实时3D目标检测系统。

技术领域

本发明属于计算机视觉领域，具体涉及了一种基于相机和激光雷达的无人驾驶平台实时目标3D检测方法。

背景技术

无人驾驶平台汽车技术发展至今，基本形成了多传感器信息融合、高精度地图与定位、环境感知、决策与路径规划、车辆底层控制的模式，其中，环境感知是无人驾驶平台安全行驶的基础和前提，无人驾驶平台汽车的行驶策略制定、路径规划、车辆底层控制都直接依赖高鲁棒性且准确的感知。

现有的基于单一传感器进行感知检测的系统，主要分为相机、激光雷达、毫米波雷达三大类，单一传感器构建的感知检测系统有如下缺点：

1、相机采集环境图像，使用图像进行目标检测和建图、定位，其优点是成本低、图像能够获得丰富的纹理信息，但是图像受光照条件和天气的影响剧烈，稳定性欠佳；

2、毫米波雷达可以通过分析发射的回馈数据直接对目标物体进行定位，且实时性极强，但是受到接收信息有限的影响，无法感知同一平面内的目标情况；

3、激光雷达具有测量精度高、测距范围远、不易受光照和天气条件影响的优点，在目标检测和建图定位方面优势明显，但难以对目标物体进行类别的判断，也难以把邻近的物体区分开来。

因此为了满足实际应用时的测量需要，解决单一传感器的不足，研究人员通常通过配置多种类型的传感器对行驶环境中目标对象的若干特征进行检测，将所测得的多传感器数据进行关联、融合处理，最终提取出可信度高的感知信息。

而配置过多的传感器，对于整个系统而言又存在以下几点问题：

1、传感器数量、种类繁多导致成本过高；

2、传感器数量多导致数据量大，计算成本高，降低实时性；

3、异构传感器的时空误差累计，检测精度低。

学术界通常使用单目相机和激光雷达进行的目标3D检测方法有如下几种：

1、过高精度时空同步后以稀疏深度信息来估计全图精准深度信息，构建深度神经网络利用完整的RGBD图像进行参数训练和检验，这种方式的3D检测结果精度高，但其计算量大，因而无法在工程实际中得到应用；

2、清华大学和滴滴借鉴RCNN的网络架构，合作研发MV3D网络对于输入信息进行了简化，使用点云的俯视图、前视图、栅格密度图、高度图作为点云数据的输入，极大的减小了运算量，在Titan X的GPU上可以达到0.36s一帧的处理速度，仍无法满足实时性要求，且整体系统成本较高；

3、斯坦福大学设计的frustum pointnets网络架构，使用faster-rcnn对图像提取目标预选区，用pointnet++回归对应区域的点云数据，两种深度神经网络相结合的方式实现目标3D检测，其检测准确性与定位精度达到国际领先，实时性好于MV3D，但以图像作为预选提取区，受光强变化影响较大，稳定性尚有不足。

发明内容