[发明专利]一种在动态场景下以深度为主导线索的多目标跟踪方法

说明书

技术领域

本发明属于计算机视觉技术领域，涉及一种多目标跟踪方法，尤其是涉及一种在动态场景下以深度为主导线索的多目标跟踪方法。

背景技术

计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，达到让计算机理解所看的东西，形成高层次的感知。

在目标跟踪领域中，长期以来所采用的方法都是基于颜色的表观模型，通过在前一帧的目标区域附近寻找与目标表观(颜色，形状，轮廓等)最为相似的颜色块。基于Meanshift(D.Comaniciu and P.Meer.Mean shift A robust approach toward feature space analysis.IEEE Trans.PAMI，2003.)的目标跟踪方法采用梯度下降找寻局部最优点，而particle filter()则维持着一片目标候选窗口的粒子云从而推算出目标当前最有可能位置。S.Avidan (S.Avidan.Ensemble Tracking.IEEE Trans.CVPR，2005)则将目标跟踪转化为在时间轴上视频序列中前景与背景的分类问题，并且与在时间轴上积累的训练数据共同来决策当前帧的目标区域。而L.Lu (L.Lu and G.Hager.A Nonparametric Treatment for Location Segmentation Based Visual Tracking.CVPR，2007.)和X.Ren(X.Ren and J.Malik.Tracking as Repeated Figure/Ground Segmentation.CVPR，2007.)等人基于超级像素训练分类器。之后基于检测的跟踪成为了目标跟踪的主流。

在目标跟踪领域的多目标跟踪方法中，许多方法将所有的跟踪目标组合成一个整体，将多目标跟踪作为一个全局最优问题。每一个目标的表观模型都纳入一个全局表列，并且目标之间的相互作用都通过图等方式进行描述，让每个目标的跟踪器之间相互纠正相互优化，较为准确地预测每个目标的轨迹。这些方法大多是离线算法。

在目标跟踪领域，深度信息往往并没有得到有效的利用。这主要是由于深度信息较难准确地从现实场景中提取。目前提取深度信息的方法大致有两种：1.利用双目或者多目图像和相机参数对场景进行三维重建。2.基于其它信息的的成熟的深度成像系统(利用红外，激光等技术)进行深度提取。Kinect(J.Shotton，A.Fitzgibbon，and et al.Real-Time Human Pose Recognition in Parts from Single Depth Images.CVPR，2011.)体感器无疑是后一种深度提取设备的杰出代表，利用lightcoding技术，Kinect能够较为精确地提取离相机一定距离内的深度信息。但是，Kinect并不能获取较近和较远的深度信息并且在强光下深度预测会不准确。因此采用第一种方法，通过双目的深度提取方法来适应在任何情况下对深度的有效提取。

深度信息由于受现有深度提取算法本身固有局限的制约一直无法得到对场景完全精确的深度描述。由于基于双目或多目的三维重建会受到立体视觉中遮挡区域的影响，深度预测很容易受到噪声干扰。而且现有算法在表观特征不显著的区域(无纹理区域)往往无法找到准确的立体视觉中的匹配点。因此这需要设计鲁棒算法来有效处理深度信息中的噪声。

近几年，目标跟踪领域有些方法利用深度信息作为辅助工具来增强目标跟踪的鲁棒性。其中最具代表性的是B.Leibe(A.Ess，B.Leibe，K.Schindler，and L.Gool.Robust Multi-person Tracking from a Mobile Platform.IEEE Trans.PAMI，2009.)等人所建立的双目行人检测和跟踪系统(2007～2009)。他们将深度信息作为辅助信息来增强目标检测中对于目标的估计，利用深度一致性假设对于每个目标候选窗口融入深度信息来判断目标出现的概率。上述的目标跟踪系统虽然进行了深度信息的挖掘，但是只限于将深度信息作为增强目标假设的辅助线索，并没有深入挖掘深度信息强大的前景背景分离的能力和在目标表观变化剧烈以及遮挡下的鲁棒性。