[发明专利]一种雷达和视频信号融合的车辆跟踪方法

说明书

本发明属于交通图像处理与交通信息技术领域，特别涉及一种雷达和视频信号融合的车辆跟踪方法，利用基于深度学习的卷积神经网络与毫米雷达传感器相结合，实现了高准确性与强鲁棒性的车辆跟踪方法，将毫米波雷达传感器与基于摄像头图像的跟踪算法相融合的技术方案，结合目标雷达传感器检测与目标跟踪算法的优点，大大提升了车辆目标的检测精度，使得输出的车辆目标不仅包含跟踪算法输出的跟踪信息，也包含雷达传感器检测目标的速度及距离信息，实现有效并且智能的交通监测手段，根据道路上的车辆跟踪信息实时地监测各个时段的交通状态，从而有效地降低交通事故的发生，保护人们的财产及生命安全。

技术领域

本发明属于交通图像处理与交通信息技术领域，特别涉及一种雷达和视频信号融合的车辆跟踪方法。

背景技术

随着经济的飞速发展与机动车水平不断地提升，未来的道路安全形势仍旧不容乐观，且随着大力推动智能交通的发展，研究有效并且智能的交通监测手段具有重大的意义。

目前，针对道路交通监测的技术手段大致分为两种：第一种主要利用传感器进行监测，如通过光学摄像头进行车辆识别跟踪，又如使用雷达对车辆进行速度检测等。第二种使用基于图像识别算法对车辆进行实时跟踪。这些传统的监控方式和现阶段的跟踪算法有着各自的优缺点。光学摄像头可以获得交通场景中丰富的道路与交通的特征信息，但无法准确测速和测距且光学传感器容易收到天气光照等因素的影响。毫米波雷达在测量目标速度和距离上具有较高的精度，但在获取目标数量和特征信息时表现较差。现阶段的基于图像的跟踪算法大都基于深度学习，算法能较为准确地跟踪到各个车辆目标并进行id绑定，但算法对于车辆的速度及距离信息无法准确得出。由此，若将基于图像识别的跟踪算法与毫米波雷达传感器进行融合，不仅能实时地获取交通场景中的车辆目标特征信息，还可以对各个车辆目标的速度与位置进行较好的测量，能够很好地克服环境因素对于交通监测的不利影响。

如基于传感器方法的实现细节：将毫米雷达传感器搭配高清摄像头安装在道路上方，在传感器的有效探测范围内，雷达系统发射的电磁波信号被其发射路径上的物体阻挡继而会发生反射。通过捕捉反射的信号，雷达系统可以确定物体的距离、速度和角度，以此来准确的检测出车辆目标的具体信息。

如基于图像识别方法的实现细节：从高清摄像头拍摄的视频流中获取到当前帧图像，将该图像所在的检测区域送入模型网络提取目标特征，通过分类回归网络输出车辆目标信息，若需要实现实时的目标跟踪，则可搭配卡尔曼滤波及匈牙利算法进行车辆目标的id绑定。

在上述方案中主要具有的缺陷：

基于传感器的方法过于依赖硬件设备，且具有一定的设备成本，硬件出现损坏会直接影响到检测结果，检测的鲁棒性低。该方法主要由传感器获取所需数值，需在有效检测区域内进行采集，因此场景下采集到的车辆目标数量较少且对于特征信息表现较弱，检测的直观性较差。

基于图像识别的方法能够很好的获取交通道路场景下每个车辆目标的特征信息，且能够使用跟踪算法实现对车辆目标实时的跟踪，检测的直观性较强，但无法准确的获得每个车辆目标的速度与距离信息。

发明内容