[发明专利]一种基于激光雷达与机器视觉融合的目标检测方法

说明书

本发明公开了一种基于激光雷达与机器视觉融合的目标检测方法，包括：1.在车辆相应位置安置激光雷达与相机；2.对所述激光雷达采集到的点云信息进行处理输出雷达检测框；3.对所述相机采集到的图像信息进行处理输出视觉检测框；4.对所述激光雷达和相机处理后的信息进行时空同步；5.对时空同步后的信息进行数据关联，获取关联对；6.对获取的关联对进行数据融合，并对融合的目标进行跟踪，综合连续帧目标信息输出最终融合结果。本发明能避免对基于多传感器融合的目标检测过程中，数据关联与融合过程存在大量误检、漏检的问题，从而能够保证对感知环境评估的准确性，并确保规划控制的精准执行。

技术领域

本发明涉及基于多传感器融合的环境感知技术领域，具体的说是一种基于激光雷达与机器视觉融合的目标检测方法。

背景技术

感知技术作为无人驾驶技术中最基础同时也是最重要的一环，其对车辆周围目标理解的准确性及实时性直接决定了无人驾驶系统的整体水平。在执行感知任务中受不同传感器工作原理限制，要获取精准、全面的障碍物信息，单一传感器是无法实现的，于是对多传感器融合技术的研究也成为了必然。

目前常用的数据融合方法可分为前融合以及后融合。前融合包括数据级融合以及特征级融合，后融合主要是决策级融合。

若选择前融合方式，数据级融合以及特征级融合都要依赖深度学习框架，会使网络架构更为复杂对GPU要求也会提高。后融合中，决策级融合方法中需要提供全面的融合策略解决各种场景时的目标识别，多数方法选择通过视觉形成感兴趣区域会导致不常见的障碍物出现漏检的情况，没有对融合目标进一步处理以减少漏检和误检的问题。

具体地，Park等人利用稠密立体视差和点云，基于两阶段卷积神经网络生成高分辨率密集视差图，利用激光雷达和立体视差生成融合视差并将融合后的视差与图像在特征空间中进行融合，预测最终的高分辨率视差并使用这种高分辨率的视差重建一个3D场景，该方法的局限性是需要大规模标记的立体激光雷达数据集。M.Liang等人通过一个连续的卷积融合层实现逐点融合，在网络的多个阶段中连接了不同尺度的图像和点云特征的作用。首先为每个像素提取K个最近邻点，然后将这些点投影到图像上，检索相关的图像特征，最后根据融合特征向量与目标像素之间的几何偏移量，对融合特征向量进行加权，然后将其输入神经网络。但当雷达分辨率较低或距离较远时，点融合会出现不能充分利用高分辨率图像的问题。

发明内容

本发明针对现有方法中存在的问题，提供了一种基于激光雷达与机器视觉融合的目标结合方法，以期能实现目标检测过程中的多传感器信息融合，从而能保证对感知环境评估的准确性，并确保规划控制的精准行。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于激光雷达与机器视觉融合的目标检测方法特点在于，包括如下步骤：

A、在车的前保险杠位置处安装有固态式的激光雷达，在车的前挡风玻璃处安装有相机，以车辆的前进方向为Z轴，以指向驾驶员左侧方向为X轴，以指向车辆正上方方向为Y轴，以激光雷达的激光发射中心作为相机原点O_l建立激光雷达坐标系O_l-X_lY_lZ_l，并以相机聚焦中心作为相机坐标系原点O_c建立相机坐标系O_c-X_cY_cZ_c，两个坐标系的O-XZ面均与地面保持水平；