[发明专利]一种基于雷达信号和视觉融合的车辆检测与跟踪方法

说明书

本发明涉及一种基于雷达信号和视觉融合的车辆检测与跟踪方法，属于智慧交通领域。为了解决智慧交通领域中交通实时监控问题，本发明综合利用毫米波雷达与单目摄像头两种传感器在交通监控场景下实现车辆检测与跟踪，依次包括如下步骤：通过毫米波雷达获取车辆速度，依据速度与位置信息初步筛选出候选跟踪目标；实现雷达坐标系与视频图像帧坐标系的转换，获取初步筛选的候选跟踪目标在视频图像帧种的坐标位置；利用基于深度学习的的轻量级目标检测算法YOLOv3‑MobileNet和Deep‑SORT跟踪算法结合，实现车辆检测与跟踪。本发明在保证了跟踪精度的前提下，满足了交通监管实时性、成本低的需求，具有良好的开发和应用前景。

技术领域

本发明属于智慧交通领域，特别是涉及一种基于雷达信号和视觉融合的车辆检测与跟踪方法。

背景技术

智慧交通定义为：在智能交通的基础上，融入物联网、云计算、大数据、移动互联等高新IT技术，通过高新技术汇集交通信息，建立在海量交通数据的基础上进行服务提供，通过实时交通数据，如位置信息、速度、占有率、排队长度、行程时间、区间速度等，提供交通信息服务，主要解决交通实时监控、公共车辆管理、旅行信息服务、车辆辅助控制等应用需求。交通对象主体之一为车辆，如何高效地通过对车辆进行检测与跟踪获取准确的交通数据对智慧交通具有重大意义。

根据系统初始化策略的不同，多目标检测跟踪可分为两种，分别是基于检测的跟踪算法与不依赖检测的跟踪算法。基于检测的目标跟踪建立在目标检测之上，包含一个独立的检测模块，在每一帧图像中的目标检测到之后，再进行目标跟踪，检测器的性能在后续目标跟踪过程中起着重要作用；不依赖检测的跟踪算法是人为在初始帧选定目标，在后续帧中对选中目标进行跟踪，对于未在第一帧出现或中间消失的目标无法进行处理。目前主流的目标跟踪算法都是基于Tracking-by-Detecton策略，即基于目标检测的结果来进行目标跟踪，一般首先通过传感器信息利用一定的目标检测方法识别出环境中不同的目标对象，通过不同的确定性目标关联方法实现目标跟踪。

目前监控设备中大多采用传统的图像处理方法实现车辆的检测与跟踪，算法在复杂场景下的监控效果不够理想，特别是在拥挤场景下，受遮挡影响严重。随着深度学习算法的迅速发展，其在复杂场景下表现出较大优越性，已经逐渐取代传统的图像处理方法，但是由于深度学习算法对设备的硬件性能要求较高，若将其用在智能监控摄像头、电子警察等边缘设备中，需考虑其性能限制。

根据所使用的传感器不同，目前车辆检测与跟踪技术主要包括基于单目视觉的目标识别与跟踪、基于立体视觉的目标识别与跟踪、基于激光雷达的目标识别与跟踪等几种，但各项技术均存在各种不足，其中基于单目视觉的目标识别与跟踪技术的主要缺陷有：

影像搜索范围宽，受背景干扰较大，检错率高；

容易受光线、阴影、遮挡、气候等外界因素干扰，出现许多伪运动目标，造成错误检测与跟踪；

在拥挤场景的多车辆检测与跟踪中，对于外观相似的目标，仅仅使用外观模型容易造成错误关联；

基于单目视觉方法进行目标检测一般采用单个摄像头，在不借助其他传感器的情况下，很难准确计算实际距离。

基于立体视觉的目标识别与跟踪技术计算量大，提高硬件设备性能要求，难以满足实时性要求，易受路面、天气情况影响，比如路面积水、车辆颠簸和摄像机标定飘移等都会引起车目标检测失败或不准确。

基于激光雷达的目标识别与跟踪技术在测量距离与速度性能上较为理想，但是受天气影响大，价格偏高。

目前，市场上迫切需要一种在保证检测与跟踪的精度情况下，能降低遮挡等外界因素干扰的、具有实时性的且成本低的适用于智慧交通实时监控的车辆检测与跟踪技术。

发明内容