[发明专利]一种基于IoU的水下多目标跟踪方法

说明书

本发明涉及计算机视觉和水下目标跟踪技术，为基于IoU的水下多目标跟踪方法，获取水下感兴趣目标的数据集；训练并获得收敛的目标检测模型；对输入的当前图像帧进行图像增强；使用训练好的目标检测模型对增强后的图像帧进行目标检测，得到该帧的所有检测框信息和检测得分；通过场景拥挤检测算法，自适应调整目标检测的得分阈值，筛选部分检测目标，对检测目标集合划分为高、低得分检测目标集合；计算各检测目标与各运动轨迹之间的IoU得分，对检测目标与运动轨迹进行分集匹配；根据匹配结果对所有检测目标与运动轨迹进行状态转移处理，以保持检测目标ID的一致性。本发明可自适应调整检测目标的得分阈值，能有效地提高水下多目标跟踪的实时性。

技术领域

本发明涉及计算机视觉及目标跟踪技术，具体为一种基于IoU(intersection-over-union，交并比)的水下多目标跟踪方法。

背景技术

近年来，多目标跟踪因其具有的潜在学术和商业潜力，在计算机视觉中逐渐备受关注，也在现实生活中有许多实际应用，例如视频监控、人机交互、人工智能、虚拟现实等。与单目标跟踪不同的是，这些实际需求引起了额外的一系列具有挑战性的问题，例如目标间的相似外观造成的互相影响、目标间频繁遮挡、轨道初始化和终止条件等，如何妥善处理以上问题是解决多目标跟踪的关键所在。

以往的多目标跟踪算法常常只针对同一类型的目标，例如行人、车辆，很少算法关注多类型的多目标跟踪，原因在于该问题的应用场景不多，而且需要构建多类外观特征提取方法，以及进行多类目标检测，导致算法复杂度较高，速度较慢，难以满足实时需求。而且，以往在水下的多目标跟踪通常是根据声纳、传感器等手段进行非直观的定位跟踪，很少算法直接从视觉方向解决。如今随着摄影设备不断改良，水下数据集相对更容易收集获取，我们也能够直接在视频图像中对水下多个感兴趣的目标进行跟踪。

现有的多目标跟踪技术根据轨迹初始化方法大部分是基于检测的在线跟踪，即在跟踪前先进行目标检测，将得到的每一帧的目标定位框作为目标轨迹的一部分，并且只使用当前帧及之前的图像帧作为跟踪线索。以往因为目标检测算法的不成熟，导致得到的目标常常回归得不够精准，从而需要算法在跟踪部分设计得更加复杂来提高跟踪准确度，例如提取目标的外观特征、运动特征、交互特征来进行相似度度量，在跟踪部分再加入检测器做周边检测等，这些过程往往需要耗费大量时间，使算法实时性大打折扣。但随着科技进步，深度学习领域飞速发展，目标检测技术也越来越成熟，我们通过目标检测能得到的目标更加准确，这为我们实现更高效便捷的跟踪器提供了基础。

另外，随着深度学习的进步，越来越多的跟踪算法在特征提取阶段中融入了深度卷积神经网络，例如resnet、siamese network、inception network等，虽然这类方法能提取较鲁棒的目标外观特征，但其往往消耗大量时间，导致算法难以达到实时。而只使用人工设计的传统特征如hog、sift等作为度量目标相似性标准的算法，则在准确度上有所欠缺。因此，如何同时提高算法的准确性和实时性是亟需解决的重要挑战之一。

发明内容

针对现有多目标跟踪技术存在准确率与实时性难以兼顾平衡的不足，本发明提供一种在确保多目标跟踪准确率的同时，能极大有效地提高跟踪实时性的水下多目标跟踪算法，该算法基于IoU技术，通过场景拥挤检测算法自适应调整检测目标的得分阈值，能针对水下多分类多目标进行跟踪。

本发明采用以下技术方案实现：基于IoU的水下多目标跟踪方法，包括以下步骤：

S1、获取水下感兴趣目标的数据集，进行图像预处理、图像增强；

S2、将数据集划分为训练集、测试集与验证集，训练并获得收敛的目标检测模型；

S3、对输入的当前图像帧进行图像增强；

S4、使用训练好的目标检测模型对S3进行增强后的图像帧进行目标检测，得到该帧的所有检测框信息和该帧的检测得分；