[发明专利]一种融合毫米波雷达与单目相机的轻量级目标跟踪方法

说明书

本发明公开了一种融合毫米波雷达与单目相机的轻量级目标跟踪方法，所述方法包括以下步骤：将毫米波雷达和单目相机进行联合标定；以运动参数为过滤基准，并通过欧几里德聚类算法筛选毫米波雷达检测到的当前帧的点云数据对单目相机采集当前图像并进行目标检测和车道线检测，并获取当前车道线内的目标点云数据；通过卡尔曼滤波进行目标稳定跟踪。本发明将聚类后的雷达数据点作为目标跟踪对象，在初始帧以及前方目标点的个数发生变化的情况下引入视觉的检测结果观测出前方目标点所属类；同时融合YOLOP网络对当前车道线的检测信息，实现对同车道内的前方目标点的轻量级跟踪。

技术领域

本发明属于智能辅助驾驶领域，具体来说涉及一种融合毫米波雷达与单目相机的轻量级目标跟踪方法。

背景技术

随着传感器、车联网以及人工智能等技术的迅速发展，汽车智能化的升级和改造逐渐成为降低事故发生率的重要途径。特别的，鉴于工程车盲区多、制动差的特点，提高碰撞预警能力对降低工程车辆事故发生率的重要性不言而喻。

车辆通过各种传感器、智能算法和车联网来实现对前方目标的实时感知和精确定位，从而为辅助驾驶甚至自动驾驶提供安全决策。目标检测和跟踪作为系统感知环境部分的重要技术，同时也是提高碰撞预警能力的重要手段；而毫米波雷达和视觉相机是组成目标检测和跟踪技术中最常用的两种传感器。毫米波雷达环境适应性好，穿透能力强，能够准确地探测到目标的速度、方位、距离等信息，但是其受限于工作原理，存在探测噪声大、杂波干扰数据过多以及无法获取目标的几何和类别信息等问题。视觉相机的成本低，能获取的数据信息量丰富，被广泛用于目标的识别分类，但存在易受光照、天气等环境因素影响等问题。

申请号为202110351803.1的专利公开了一种基于雷达信号和视觉融合的车辆检测方法，主要采用毫米波雷达与单目摄像头两种传感器，融合在YOLOV3-MobileNet神经网络的基础上实现对车辆检测，并使用Deep-SORT跟踪算法实现对检测后的车辆进行跟踪。这类方法主要采用Deep-SORT等基于深度学习的跟踪算法，因为该类算法引入CNN提取被测目标的表面特征，因此增加网络对遗失和障碍的鲁棒性，但是正是由于外观特征等的引入，导致其无法在算力有限地嵌入式设备上达到实时检测与跟踪的需求。申请号为201911095047.X的专利公开了一种基于单目视觉融合毫米波的ADAS前车碰撞预警方法，主要通过单目摄像头计算出前方车辆的实际距离并与毫米波雷达得到的距离信息进行融合校正，进而利用融合后的信息进行预警提醒；但是该方法仅将两种传感器的融合用作测距，而忽略了对同一车辆的实时跟踪问题。

发明内容

为了解决汽车在行驶过程中对同车道内的前方目标的实时跟踪问题，本发明提出了一种融合毫米波雷达与单目相机的轻量级目标跟踪方法。

为实现上述目的，本发明提供技术方案如下：

一种融合毫米波雷达与单目相机的轻量级目标跟踪方法，所述方法包括以下步骤：将毫米波雷达和单目相机进行联合标定；以运动参数为过滤基准，并通过欧几里德聚类算法筛选毫米波雷达检测到的当前帧的点云数据；对单目相机采集当前图像并进行目标检测和车道线检测，并获取当前车道线内的目标点云数据；通过卡尔曼滤波进行目标稳定跟踪。

优选地，所述联合标定包括以下步骤：对单目相机进行标定，并得到世界坐标系和像素坐标系间的转换模型；将毫米波雷达坐标系转换到世界坐标系；同步毫米波雷达与单目相机的采样频率。

优选地，所述毫米波雷达检测到的点云数据包括若干扫描点信息，任一扫描点信息包括位置坐标(x，y)及相对速度v，所述筛选包括以下步骤：

计算每一扫描点的欧几里德距离D；

判断欧几里德距离D是否不大于经验阈值，若是，则保留，否则丢弃。