[发明专利]一种基于视觉和激光雷达的目标检测和运动状态估计方法

说明书

本发明请求保护一种基于视觉和激光雷达的目标检测和运动状态估计方法，包括以下步骤：1.安装相机与激光雷达的位置，并进行两两双目相机之间的标定，以及车前左相机与激光雷达之间的联合标定。并将立体视觉系统与激光雷达各自生成的稀疏点云进行融合和补充，构成全局的三维点云图；2.用深度学习的方法对二维图像以及三维点云进行检测，并通过立体视觉生成的图像目标三维运动状态和激光雷达三维点云目标融合，获取综合的目标三维特征点；3.根据目标三维特征点，利用卡尔曼滤波对目标进行跟踪，分析其运动状态。本发明的关键在于视觉与激光雷达传感器之间的融合，改善智能汽车对周围环境的感知能力。

技术领域

本发明属于智能汽车环境感知领域，具体设计到一种基于视觉和激光雷达在山区复杂路况下的车辆行人等目标检测和运动状态估计方法。

背景技术

随着人工智能、机器视觉等领域在近些年的快速发展，智能车成为了学术界、工业界研究发展的重要领域。对于智能汽车而言，不能够缺失具备实时感知和理解周围环境的能力。只有环境感知技术准确、实时、可靠，才能保证车辆规划出正确的通行路径，进而安全地实现自动行驶，因此环境感知技术是智能汽车实现安全驾驶的基础要求和前提条件。

环境感知技术指的是智能汽车依靠自身携带的传感器，描述车辆周围环境状况的技术。它可以携带一种传感器，也可以携带多种传感器进行工作。在当前，国内外研究者一直在对单一传感器的性能进行完善，但是在复杂工作环境下，单一传感器获取的信息有局限性，仅仅依靠单一传感器不能够保证在各种条件下对目标进行正确的识别，会造成错误的环境感知。而多传感器融合技术能够弥补各自传感器的缺陷，结合它们的优点，准确地、快速地感知车辆周围的环境。例如，激光雷达具有探测距离远，检测精度高等优点，但是激光雷达不具备视觉识别的功能；而视觉传感器弥补了激光雷达在识别物体方面的劣势，它可以捕获物体的细节，如亮度，纹理等特征，但是视觉传感器又受天气状况影响，只能在天气良好的情况下检测和识别目标，且探测物体距离有限，精度不高。

所以，综上所述基于激光雷达和视觉传感器信息融合的技术能够整合两种传感器的优点，既能达到探测距离远，精度高和可靠性强的优点，同时又能准确识别目标。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于视觉和激光雷达的目标检测和运动状态估计方法。本发明的技术方案如下：

一种基于视觉和激光雷达的目标检测和运动状态估计方法，其包括以下步骤：

步骤1、安装相机与激光雷达，并进行两两双目相机之间的标定，以及车前左相机与激光雷达之间的联合标定，并将立体视觉系统与激光雷达各自生成的稀疏点云进行融合和补充，构成全局的三维点云图；

步骤2、用深度学习的方法对二维图像以及三维点云进行检测，并通过立体视觉生成的图像目标三维运动状态和激光雷达三维点云目标融合，获取综合的目标三维特征点；

步骤3、根据目标三维特征点，利用卡尔曼滤波对目标进行跟踪，分析其运动状态。

进一步的，所述步骤1)具体包括以下步骤：

步骤2-1.采用相同的速率和统一坐标系的方法，实现相机与激光雷达这两种传感器时间与空间的信息同步；

步骤2-2.根据传感器的安装位置，实现双目之间的标定以及相机与激光雷达之间的联合标定，并获取内参f_u、f_v、u_o、v_o以及外参R、T。其中f_u、f_v分别表示相机横、纵焦距，u_o、v_o表示光学中心，R、T分别表示双目相机的旋转矩阵和平移矩阵，以上都通过标定方法得到；

步骤2-3.根据双目标定获得的内参f_u、f_v、u_o、v_o以及外参R、T，对获取的图像进行畸变矫正；