[发明专利]一种基于关键帧的在线学习的离线视频跟踪方法

说明书

技术领域

本发明涉及计算机视觉跟踪技术领域，具体涉及一种基于关键帧的在线学习的离线视频跟踪方法。

背景技术

根据视频来源的不同可以简单地把视频目标跟踪分为两大类：在线视频目标跟踪和离线视频目标跟踪。在线视频的目标跟踪只有当前帧之前的视频数据，因此在线视频的目标跟踪问题是一个开环控制系统，使得误差不可避免地发生积累。而离线视频的目标跟踪在跟踪之前已具有完整的视频，因此可以通过对少量的关键帧进行标注，从将开环控制系统转化为闭环控制系统，使得离线视频跟踪可以用于视频标注、视频检索、事件分析以及基于运动目标的视频压缩等。

总的来说，目前的目标跟踪算法主要两个关键性的问题：(1)表观模型；(2)跟踪框架。表观模型就是如何对目标物体进行有效的表达，并且进行实时的更新。因此，如何构建一个好的表观模型对目标视觉跟踪起着至关重要的作用。

目标灰度模板，是一种最直接的目标建模方法，不过该模型缺乏判别性和鲁棒性。尽管目标区域的颜色直方图对于目标尺度、旋转以及非刚性形变较为鲁棒，但是由于其忽略了目标表观的颜色空间分布信息，存在一定的缺陷。虽然基于核密度估计的表观模型很好的解决了这一缺陷，不过换来的代价是计算与存储复杂度的增长。另外，基于条件随机场的表观模型通过马尔可夫随机场来建模邻近像素之间的内在关系，但是其训练代价非常巨大。基于子空间学习的表观模型由于其子空间不变假设更为合理，因而被广泛地应用于视觉跟踪领域。但是该模型在训练时需要足够多的样本，在实际运用中很难达到实时性的 要求。基于此，Levy和Lindenbaum提出了序列KL(Sequential Karhunen-Loeve)变换算法用于增量地学习图像的特征基。Lim等扩展了序列KL变换算法，同时对目标图像的均值和特征基进行增量更新，并将该算法首次应用于目标的视觉跟踪。而后，鲁棒估计策略，Yang的基于数据驱动的加强自适应方法，Liao的基于鲁棒卡尔曼滤波的跟踪方法以及Gai和Stevenson基于动态模型的方法，虽然在某些特定的场景中获得了较好的跟踪性能，但是有一定的不足之处：即上述所有基于子空间的跟踪算法首先要将图像展成一维向量，目标表观的空间分布信息几乎完全丢失，从而使得模型对目标表观的全局性变化以及噪音非常敏感。针对这一缺点，Hu等引入张量思想，在一定程度上起到了效用。不过由于其在使用R-SVD更新过程中只保留了前R个较大特征值所对应的特征向量，从而带来了一定的误差，并且随着跟踪的进行，误差会逐步累计，导致模型漂移。虽然基于动态张量分析的模型避免了上述误差，得到了更加精确的结果，但是由于小样本问题使得计算得到的协方差矩阵无法描述样本的分布情况，从而导致子空间的计算退化。

近年来，基于L1正则化稀疏表示的目标表观模型受到人们的广泛关注。稀疏表示模型描述了以下问题：给定一个候选的目标区域，用尽量少的模板对其进行重构。在稀疏表示的框架下，模板字典由一系列目标模板(object template)和自定义的辅助模板(trivial template)组成，新的候选样本将通过模板字典的线性稀疏重构来表示。目标模板表示的是待跟踪目标的视觉特征，自定义的辅助模板是为了表示噪声和遮挡，每个辅助模板只有一个元素的值为1，其他元素均为0，因此不同的辅助模板对应着目标模板不同位置的像素。如果某个辅助模板的重构系数不为零，则表明其对应位置的像素有可能被噪声污染或者被其他物体遮挡。所以在稀疏表示的框架下，通过辅助模板与目标模板的组合，可以有效 地处理图像噪声和遮挡，而不需要采用其他额外的策略。

尽管基于稀疏表示的表观模型在处理遮挡和噪声方面取得了巨大的成功，然而该模型还是存在如下问题：模板字典中目标模板的数量过少(一般为10)，远远没有达到稀疏表示理论对字典模板过完备(over-complete)的要求。此外，传统的稀疏表示跟踪算法只是简单的用最新得到的跟踪结果去代替旧的目标模板，很容易将跟踪结果中的误差(如噪声、遮挡引起的)引入到模板字典中，当误差积累到一定程度就会导致模型漂移问题(model drifting)。对于在线视频跟踪，由于无法获取整段视频，建立过完备字典是很难的；而离线视频在目标跟踪之前提供所有视频数据，为构建一个完备充分的目标模板字典提供了基础。在跟踪过程中字典的更新也是重要环节，在线跟踪字典的更新是根据当前跟踪到的区域与已有字典进行相似性度量，如果大于预先设定的阈值就更新，否则就不更新。这样的字典更新方法也可能导致误差积累，如果更新频率过快误差累积量就大。而另一方面，如果更新太慢，则难以适应目标表观的变化。

发明内容