[发明专利]一种基于深度学习的无人机多目标车辆跟踪方法

说明书

本发明公开了一种基于深度学习的无人机多目标车辆跟踪方法，把深度特征融合网络引入联合模型，在小步长下采样率的网络结构中提取目标的特征图，减小量化误差并且在应用于小目标的俯瞰场景时引入了OrientedR‑CNN方法进行车辆方向的检测。在网络上采样过程中引入最新的可变卷积，提高对不同尺寸目标的适应能力。以多个头部的方式并行实现目标检测和学习Re‑ID特征。在内部轨迹关联上，以交并比(IOU)匹配的方式，将车辆的Re‑ID特征指定给对应车辆轨迹，预测串联轨迹在当前视频帧中的位置以完成跟踪。算法有效改善了模型使用基于Anchor的骨干网络学习Re‑ID特征不佳而导致的ID切换、检测失效问题，提高了车辆多目标跟踪算法的鲁棒性。

技术领域

本发明涉及二维计算机视觉，一种基于深度学习的多目标车辆跟踪方法，将车辆从场景中识别出来并赋予相应的编号，并根据检测方法在后续帧中不断检测出相关对应的目标，获取车辆跟踪的准确轨迹。将面向旋转的检测方法融合到跟踪中，得到更加准确的跟踪轨迹。并对重识别、遮挡等问题具有一定鲁棒性。

背景技术

随着社会的快速发展，“智能化”时代已经悄然来临，无论是越来越智能的手机，还是快速便捷的各类设施，都在昭示着“智能”将会是未来的关键词。愈来愈多的系统趋于智能化、无人化、便捷化，而首当其冲的便是无人机带给人们方便快捷的生活。利用计算机视觉的各种先进技术，如图像识别、智能交互、实例分割、检测跟踪等，使得其智能性和自主性得到不断提高。并成为了未来无人机的发展方向，也是当前研究和开发的热点。

近年来，随着无人机智能系统的研发越来越先进，其智能系统可以被应用于多种场景中，使得无人机被广泛应用。京东物流使用无人机进行配送和运输，开启了物流行业的新河。很多快递在农村使用无人机将客户的物品运输到家门口，不仅能够杜绝传染，也方便了人们的生活。越来越多的电影画面使用无人机进行拍摄，轻松的实现各种神奇的画面，降低了拍摄成本，并且也让拍摄者打消了地形限制的顾虑。无人机可以实现对目标进行大范围、长时间、多视角的观测，从而为科学研究、电影拍摄、军事打击等提供丰富的场景信息和目标信息。因此，配备摄像头和智能系统的无人机可以通过对所拍摄的视频进行自主分析，从而完成目标的检测和跟踪，为大量实际应用取得可靠的信息，同时也可以为人们的决策提供一定的辅助作用，具有广阔的应用场景和重要的研究价值。

计算机视觉(ComputerVision，CV)通过摄像头的力量赋予了计算机获取外界信息的能力，例如识别和跟踪物体的能力。视觉目标跟踪技术是对所标注目标进行长时间跟踪和识别，不断地传回目标的位置坐标信息，是无人机智能化的一个重要基础，不论是对军事目标的跟踪还是对交通车辆的跟踪，都极大缓解了工作人员的负担。

对运动目标的跟踪，是视频分析领域的一项基本任务，该任务融合了计算机视觉领域的中、高层阶段，是通过处理连续图像队列，研究目标运动规律的任务。目标跟踪任务，根据目标的数量可简单分为单目标跟踪(SOT)与多目标跟踪(MOT)。单目标跟踪，通过目标的表观建模或者运动建模，以处理光照、形变、遮挡等问题，主要使用光流法、基于特征匹配的跟踪算法、和贝叶斯跟踪等。而多目标跟踪问题较单目标跟踪要复杂的多，除了单目标跟踪遇到的问题外，还需要目标间的关联匹配。另外在多目标跟踪任务中经常会碰到目标的频繁遮挡、轨迹开始终止时刻未知、目标太小、表观相似、目标间交互、低帧率等等问题。

尽管现有的跟踪算法在跟踪成功率和精度上取得了显著的提升，但实际跟踪任务中无人机所跟踪的目标易受到遮挡、形变、尺度变化、相似目标干扰等影响，导致实现准确的无人机视觉跟踪任务仍面临着严峻的挑战。基于无人机视觉的目标跟踪技术有着广泛的应用场景，抗干扰能力强，跟踪精度高。因此，研究如何结合先进的计算机视觉技术和目标跟踪技术，提高无人机视觉跟踪算法的精度以更好地完成跟踪任务，具有十分重要的意义。