[发明专利]结合时空运动的多目标跟踪方法

说明书

随着日益增多的视频数据量，使用计算机视觉技术从视频中提取出有效的信息是一件亟待解决的事情，多目标跟踪是其中重要的一部分。为此，本发明提出了一种结合时空运动的多目标跟踪方法。首先是提出了基于目标间相对位置关系的时空运动模型，使用目标间的相对运动鲁棒地估计目标的位置，并使用GRU模型拟合目标间的相对运动，提高最终位置预测的准确率。然后是提出了基于目标历史跟踪状态的多阶段目标关联算法，首先关联历史关联结果较好的目标作为锚点，再基于锚点位置和相对运动模型估计剩余目标的位置，最后再将剩余的目标按照不同的跟踪状态依次进行关联。最后在测试数据上的跟踪结果表明，本发明提出的多目标跟踪算法具有明显的优势。

技术领域

本发明涉及一种多目标跟踪方法，尤其涉及一种结合时空运动的多目标跟踪方法，属于计算机视觉领域。

背景技术

随着社会经济的发展，相机、手机以及监控摄像头等硬件成本逐渐降低，互联网科技不断进步，每天都会产出大量的视频数据，用于安防监控、无人驾驶等等。这些海量数据中往往包含着重要的信息，仅靠人工来分辨提取其中的信息费时且费力，因此把数据交给机器处理是一件非常有意义且亟需解决的事情。现有的计算机视觉任务主要包括目标检测、目标分类识别、目标跟踪以及场景语义分析等等。

目标跟踪是计算机视觉任务中重要的组成部分，本申请主要涉及的是多目标跟踪。多目标跟踪指的是将一段连续视频帧中的同一目标进行关联，最终形成完整的目标轨迹。多目标跟踪算法基础框架较多，按照目标初始化方式可以分为基于检测的算法和不基于检测的算法，两者的主要区别是是否利用了检测器来发现新的目标。按照目标处理模式，多目标跟踪可以分为在线多目标跟踪算法和离线多目标跟踪算法。两者的主要区别是是否用到了后续视频帧信息。基于应用需求以及过往知识积累，本申请主要涉及的是基于检测的在线多目标跟踪算法。

如图1所示，基于检测的在线多目标跟踪主要实现的是将历史跟踪到的目标和新的一帧检测到的目标进行数据关联，进而获取到目标的轨迹信息。因此多目标跟踪算法中的关键技术包括特征模型的构建以及目标数据关联两部分，特征模型主要是为了提取每个目标的特征作为关联代价，而数据关联则是基于关联代价实现关联结果最优化。常用的特征模型包括表观模型以及运动模型等，而常用的数据关联算法主要包括最近邻算法以及基于概率关联的算法。

由于现实条件中的一些不可抗因素，比如目标被频繁遮挡、目标外观相似以及背景干扰等，给多目标跟踪算法的研究带来很多的困难。近年来，虽然在多目标跟踪领域涌现了很多很有意义的工作，但仍面临一些问题，主要包括运动模型不够鲁棒、目标关联算法不完善等，具体包括：

1)运动模型不够鲁棒：运动模型在多目标跟踪算法中占有重要的作用，通过运动模型预测目标的位置既可用作目标数据关联的关联代价，也可用于恢复漏跟的目标。而在现有的运动模型中，有的仅使用单个目标的历史运动信息构建运动模型，当相机抖动或者相机大幅度运动时，仅使用单个目标历史运动轨迹的位置预测会出现较大的偏差。有的方法使用目标之间的相对位置关系来解决目标抖动或者目标大幅度时产生的问题，但都是通过手工设计特征构建运动模型，使得最终的运动模型不够鲁棒，难以准确地预测目标的位置。因此需要综合考虑这两个方面来构建鲁棒的运动模型；

2)目标关联算法不完善：目标关联是基于检测的多目标跟踪算法中的关键步骤，它指的是基于表观相似性和位置约束等关联代价，将检测结果和跟踪结果进行目标关联。由于光照变化、目标之间频繁遮挡等因素的影响，目标关联之后，很容易导致目标身份发生交换，或者目标框漂移到背景上。现有的多目标跟踪方法在目标关联这一步主要存在以下两个问题，首先是忽略了目标本身所处的不同跟踪状态，而采取了同样的关联代价计算方式，如持续跟踪的目标应该缩小位置约束，而已经多帧未能成功关联的目标应该扩大位置约束。然后是目标各自关联，优先关联的目标没有对后关联的目标起到辅助作用。因此可以通过设计一个多阶段交互的目标关联算法，来充分利用跟踪过程在目标的各种信息。

发明内容