[发明专利]一种融合毫米波雷达和激光雷达的3D目标检测与追踪方法

说明书

本发明涉及一种融合毫米波雷达和激光雷达的3D目标检测与追踪方法，对采集的激光雷达和毫米波雷达数据预处理；将鸟瞰图形式的激光雷达特征和毫米波雷达特征直接进行拼接，获取融合的特征后进行检测识别任务，得到目标的3D位置识别框和类别信息；基于检测的识别框对原始的毫米波雷达点进行过滤，获取属于该框内的毫米波雷达点，再对检测框内雷达点和追踪框求取P2B距离，采用注意力机制加权后得到由毫米波雷达点计算位置相似性亲和矩阵；根据检测任务预测的速度求取检测框和追踪框间的位置偏移量，得到另一种位置偏移量亲和矩阵；将两种亲和矩阵加权后得到最终的亲和矩阵，以此进行目标追踪，最终实现兼顾精度和鲁棒性的3D目标检测与追踪。

技术领域

本发明涉及一种融合毫米波雷达和激光雷达的3D目标检测与追踪方法，属于目标检测与追踪和自动驾驶领域。

背景技术

当前，基于激光雷达的3D检测与追踪方法大多遵循“tracking by detection”的范式，即先进行检测任务，后进行逐帧的追踪，追踪过程的核心是数据关联，即将跨帧的同一物体分配唯一的标号。数据关联问题常被视为二分图匹配问题，使用匈牙利算法或贪婪匹配算法进行求解。但是这样的范式对检测的依赖非常严重，检测结果的好坏直接决定了追踪的性能。激光雷达凭借高精度的3D位置和高分辨率的角度测量优势而成为自动驾驶中重要的传感器之一，许多基于激光雷达的3D检测工作应运而生。但激光雷达也有缺点存在，比如它的探测范围有限，远处的地方点云通常很稀疏；易受雨雾等不利天气的干扰；并且激光雷达只提供了静态的位置测量信息，没有提供动态信息(如速度等) 的测量，所以只依赖激光雷达进行检测和追踪任务会有一定的性能上限。相较于激光雷达，毫米波雷达具有更远的探测范围，并且基于多普勒效应对物体的径向速度进行了测量，同时其受雨雾等不利天气的干扰较小，成本较低，对基于激光雷达的感知追踪系统具有重要意义。但由于毫米波雷达的精度和分辨率较低，聚类后的目标点十分稀疏，并且受多径效应的影响，其测量的数据常存在噪声干扰，如何有效地融合毫米波雷达数据具有很大的挑战。当前基于融合激光雷达和毫米波雷达的工作仍然较少，Radarnet[6Yang B,Guo R,Liang M,et al.Radarnet:Exploiting radar for robust perception of dynamic objects[C]//EuropeanConference on Computer Vision.Springer,Cham,2020:496-512.]是其中较为典型的工作，该模型对毫米波雷达和激光雷达数据均进行了体素特征提取后拼接融合，之后只对动态物体进行检测，同时利用毫米波雷达点的速度对动态物体的速度进行更新。

但现阶段同时融合激光雷达和毫米波雷达做追踪的工作仍很少，大部分模型的精度比较受限于单一模态的缺陷。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种融合激光雷达和毫米波雷达的目标检测与追踪方法，提升检测与追踪的准确性和鲁棒性。同时使用了柱状网络处理，更充分地利用了毫米波雷达的特征，并且拓宽了其应用范围至兼有动态与静态目标的检测和追踪领域。

本发明技术解决方案：一种融合激光雷达和毫米波雷达的目标检测与追踪方法，包括以下步骤：

步骤1：对采集的激光雷达和毫米波雷达的数据进行预处理，激光雷达的数据采用基于体素的网络进行编码处理，毫米波雷达数据采用柱状网络进行编码处理，得到基于鸟瞰图形式的激光雷达特征和毫米波雷达特征；

步骤2：将鸟瞰图形式的激光雷达特征和毫米波雷达特征直接进行拼接，实现基于鸟瞰图视角的检测层次融合，获取融合的特征后进行检测识别任务，得到目标的3D位置识别框和类别信息；

步骤3：基于检测的识别框对原始的毫米波雷达点进行过滤，获取属于该框内的毫米波雷达点，再对检测框内雷达点和追踪框求取P2B距离，即毫米波雷达点到追踪框各边之间的平均最短距离，采用新颖的注意力机制加权后得到由毫米波雷达点计算所得的基于位置相似性的亲和矩阵；同时根据检测任务预测的速度求取检测框和追踪框间的位置偏移量，得到另一种位置偏移量亲和矩阵；