[发明专利]一种基于相机和激光雷达融合的3D实时多目标跟踪方法

说明书

本发明涉及一种基于相机和激光雷达融合的3D实时多目标跟踪方法，属于环境感知领域，包括以下步骤：S1：得到每一时刻目标物体的二维信息和三维信息；S2：融合得到同时由激光雷达和相机两种传感器都检测到的目标物体、仅由激光雷达检测到的目标物体、仅由相机检测到的目标物体；S3：将同时由两种传感器检测得到的目标物体与三维轨迹进行匹配；S4：将仅由激光雷达检测到的目标物体与剩余未匹配上的三维轨迹进行匹配；S5：将仅由相机检测到的目标物体二维轨迹进行匹配；S6：将三维轨迹与二维轨迹进行匹配；S7：对轨迹进行管理。

技术领域

本发明属于环境感知领域，涉及一种基于相机和激光雷达融合的3D实时多目标跟踪方法。

背景技术

目前主流的多目标跟踪方法都是基于tracking-by-detection，其过程分为两步：1)目标检测；2)数据关联。随着目标检测的精度越来越高，跟踪的准确度也相应的在提高，而对于多目标跟踪最为重要的数据关联阶段，仍然存在较多困难，如何克服因检测不准确和遮挡而导致的漏跟、误跟依旧是挑战。现有的多目标跟踪方法主要分为基于相机的目标跟踪和基于激光雷达的目标跟踪。

基于相机的方法利用RGB图像上目标对象的信息来完成物体相似性关联的任务，通常有外观信息、运动信息等。基于相机的多目标跟踪方法通常是2D的，即在图像平面上跟踪，但也有采用双目相机提取深度做3D跟踪。主流的方式是利用目标检测算法提取目标信息，然后通过卡尔曼滤波进行预测，接着计算前后两帧各物体之间的代价矩阵，如：交并比、欧式距离、马氏距离等，最后使用匈牙利算法或贪婪算法进行匹配关联。后来有学者提出了一个单阶段的跟踪框架(Jointly learns the Detector and Embedding model)，认为检测和跟踪可以同时进行，提出了将目标检测和外观嵌入共享结构学习的跟踪模型，这样既有助于防止因为漏检而出现误跟的现象，又能解决漏跟问题，取得了较好的结果。

基于激光雷达的方法通常具有深度信息，因而有利于做3D跟踪。由于深度学习的方法在处理激光雷达点云数据过程取得了重大突破，因此基于激光雷达的3D跟踪开始逐渐受到欢迎。使用激光雷达点云数据进行跟踪缺乏如视觉的像素信息，尽管近年来针对点云特征的提取得到发展，但总体上基于点云的外观特征不如基于视觉的外观特征准确。

发明内容

有鉴于此，本发明的目的在于提供一种基于相机和激光雷达融合的3D实时多目标跟踪方法

为达到上述目的，本发明提供如下技术方案：

本发明一种基于相机和激光雷达融合的3D实时多目标跟踪方法，包括以下步骤：

一种基于相机和激光雷达融合的3D实时多目标跟踪方法，包括以下步骤：

S1：使用基于相机的2D检测器得到每一时刻目标物体的二维信息，使用基于激光雷达的3D检测器得到每一时刻目标物体的三维信息；

S2：将由基于激光雷达检测得到目标物体的三维信息通过坐标系转换投影到图像平面上，并与基于相机检测得到的目标物体进行融合，得到同时由两种传感器都检测到的目标物体、仅由激光雷达检测到的目标物体、仅由相机检测到的目标物体；

S3：将t时刻同时由两种传感器检测得到的目标物体与t-1时刻的三维轨迹通过卡尔曼滤波预测得到t时刻的三维轨迹进行匹配，得到匹配成功的轨迹和未匹配成功的轨迹；

S4：将仅由激光雷达检测到的目标物体与剩余未匹配上的三维轨迹进行匹配；

S5：将t时刻仅由相机检测到的目标物体与t-1时刻二维轨迹通过卡尔曼滤波预测得到t时刻的二维轨迹进行匹配；

S6：将t时刻三维轨迹通过坐标系变换投影到图像平面与相应的二维轨迹进行匹配；