[发明专利]一种基于轻量化SSD的DeepSort水面漂浮物多目标跟踪方法

说明书

一种基于轻量化SSD的DeepSort水面漂浮物多目标跟踪方法，属于机器学习、目标跟踪领域。首先，获得若干水面漂浮物的连续视频帧。其次，输入水面漂浮物视频数据，通过轻量化的SSD检测算法获取当前帧的水面漂浮物目标检测框，基于视频当前帧的目标检测框进行状态预测，获得当前视频帧下的水面漂浮物目标跟踪框。再次，计算所有水面漂浮物目标检测框和跟踪框之间的运动匹配度和表观匹配度，将运动匹配度和表观匹配度进行综合匹配得到关联代价。最后，通过匈牙利算法将水面漂浮物的关联代价矩阵C_i，j进行关联匹配，确定跟踪结果。本发明能够实现水面漂浮物多目标跟踪，降低反向传播的参数数量和内存成本，提高数据关联的准确性，改善光照和遮挡物的影响。

技术领域

本发明属于机器学习、目标跟踪领域，涉及一种基于轻量化SSD算法的DeepSort水面漂 浮物多目标跟踪方法。

背景技术

水环境综合治理是水利工程运营与管理的重要组成部分，是落实绿色发展理念、推进生 态文明建设的内在要求，是解决我国复杂水问题、维护河湖健康生命的有效举措。漂浮物对 水质、水面景观、供水、水产和航运等造成不利影响，同时减小水电枢纽的发电效益、对枢 纽运行安全构成威胁，加强河道漂浮物检测与打捞对水利工程具有重要意义。如何快速有效 检测跟踪水面漂浮物的运行轨迹，为水面安全规避、污染物清洁、水面交通安全等领域提供 早期预警及实时监控等信息，成为了智能识别以及水利信息化的重要课题之一。

目标检测与跟踪是计算机视觉领域中核心的研究问题，也是目前工业领域最为热门的技 术。其中目标检测的任务是从场景中将目标物体与其他目标进行有效区分，定位目标物体的 位置，识别出目标大小等信息。目标跟踪是在检测的基础上，进一步对目标物体下一时刻的 位置和大小等信息进行科学预测，明确目标物体的运动轨迹。伴随着深度学习技术的不断发 展，卷积神经网络为目标检测跟踪提供了巨大的技术支撑，并在目标检测与跟踪领域取得了 巨大的成功。

目前，基于深度学习的水面漂浮物检测算法沿着两条主线发展：第一，以FasterRCNN、 CA-Faster R-CNN为代表的基于候选框方式的检测主线，能够有效确保漂浮物检测精度，但 检测速度无法满足实时检测需求；第二，以YOLO、SSD和Retain-Net为代表的一体化检测 算法，检测速度要明显快于前者，但漂浮物检测精度略有下降，其中SSD检测算法的准确率 和检测速度相对较优，成为当前应用于水面漂浮物目标检测的主流方法。传统的SSD检测算 法是以VGG-16为基础网络，包含了13个卷机层，模型的网络参数、浮点数计算量以及内存 需求等依赖于高性能的硬件设备，导致传统SSD检测算法难以在实际中进行大规模推广和应 用。

同时，当前水面漂浮物跟踪技术也面临着较大的挑战，首先，水面漂浮物目标跟踪需要 解决单目标跟踪中存在的诸如漂浮物目标形变、场景环境变化等挑战之外，还面临着由于漂 浮物目标数量不确定所带来的实时目标数量更新及维持目标各自身份(Identity，ID)的任务， 因此视觉多目标跟踪还需要处理更为复杂关键的问题，诸如：漂浮物目标数量不确定、频繁 目标遮挡、同类目标的相似度区分等。近几年随着基于深度学习检测算法的精度较传统算法 性能大幅度提高，视觉多目标跟踪随之取得了较大的突破。目前多目标跟踪技术应用较为广 泛的是SORT和DeepSort算法，其中SORT算法主要是利用卡尔曼滤波对目标物体进行预测 和更新，并使用匈牙利算法对目标物体的预测框和检测框进行匹配，在存在遮挡的情况下跟 踪效果较差。DeepSort算法是基于SORT算法上引入级联匹配思想，通过匈牙利算法将目标 物体轨迹的预测框和检测框进行数据关联匹配，降低了目标物体的误检率和漏检率，改善了 光照和遮挡物的影响。

基于实际水面漂浮物检测跟踪的需求，目前国内外相关研究成果存在算法结构复杂以及 受到复杂水面环境的影响，无法满足实时水面漂浮物检测跟踪的需求。本发明在深度学习技 术不断拓展的基础上，提出基于轻量化SSD(Single Shot MultiBox Detector，单发多目标检测 器)算法的DeepSort水面漂浮物多目标跟踪方法，实现对水面漂浮物的精准跟踪。

发明内容