[发明专利]面向低帧率视频的目标跟踪方法

说明书

技术领域

本发明涉及计算机视觉领域，尤其是一种面向低帧率视频的目标跟踪方法。 

背景技术

在很多的实际的机器视觉应用中，可利用的资源都是受限制的(例如：嵌入式可视系统)。所以，在视频采集的过程中就会产生一些低帧率(Low Frame Rate)视频，具体的原因有如下两种：1)由于视频采集硬件的延时或传输带宽的限制，使得视频采集过程或传输过程掉帧；2)由于CPU处理能力或存储容量的限制，对所采集的视频数据在时间维上进行下采样，从而提高处理速率或降低存储量。 

由于低帧率视频数据每秒钟显示的图像数据少于10帧，导致其连续的图像帧中目标物体的表观或运动存在很大的突变。然而，大多经典的跟踪算法都是基于目标状态的连续性假设，即假定目标物体的运动和表观在连续图像帧间的变化很小。例如，粒子滤波算法采用在前一帧的跟踪结果的基础上来预测当前帧图像中的粒子；基于迭代优化的跟踪算法，如KLT(Kanade-Lucas-Tomasi)、模板匹配算法和均值漂移算法也同样将基于前一帧的跟踪结果作为当前帧迭代优化的初始值。因此，上述经典的跟踪算法在面向低帧率视频的应用中无法获得令人满意的结果。 

国内外直接针对低帧率视频下目标跟踪的研究较少，其中Porikli 等人对均值漂移算法进行了拓展，在背景减除的基础上对运动显著区域采用多核的均值漂移算法，从而克服了由低帧率所引起的运动不连续性以及不可预测的问题。Li等人提出一种级联粒子滤波算法来解决低帧率视频下目标运动突变的问题，该算法通过检测器来学习不同时序周期上的特征，并将检测器的响应作为重要性分布融入到粒子滤波算法，实现对低帧率人脸视频的有效跟踪。Carrano等人目标运动的可能性区域通过背景减除获得，然后结合下列四种特征：相关性系数、平均像素强度、速度差和角度差，来实现目标模型与运动可能性区域的匹配。另外，Zhang等人采用连续图像帧间的差分图来预测目标的运动突变，然后利用预测的结果来指导粒子滤波中的样本传播过程。总而言之，国内外现有的研究都是将低帧率视频看成目标物体的运动突变。然而，在实际应用中，低帧率视频所引入的不仅仅是目标物体的运动突变，还伴随着目标表观的巨大变化。因此，要实现低帧率视频下得鲁棒跟踪，需要同时从目标物体的表观模型和运动搜索框架两个方面着手，使其符合低帧率视频的特性。 

发明内容

为了克服低帧率视频所带来的目标表观和运动突变的问题，本发明提出从以下三个方面着手来建立一个鲁棒的面向低帧率视频的目标跟踪系统：1)目标表示；2)模型匹配；3)运动搜索。首先，提出融合主颜色及其空间分布的表观模型和交叉颜色比例的匹配准则，使得模型有效地处理目标表观和光线的突变；其次，提出基于生物群智能的运动搜索方法，从而对运动突变进行有效地跟踪。 

为了实现上述的目的，本发明采用了以下的技术方案： 

建立一个鲁棒的面向低帧率视频的目标跟踪系统，包括以下的步骤： 

1.融合主颜色及其空间分布信息的目标表观及其更新，主要有以下步骤： 

第一步，将目标区域像素从RGB转换到rgI颜色空间，再计算像素颜色的欧氏距离，从而建立目标区域像素间的权重图矩阵；

第二步，利用所建立像素间的图结构，对像素采用主导集聚类算法可依次获得目标区域的主颜色模式，当剩余像素个数小于一定的阈值，则聚类结束，并认为剩余像素为噪声； 

第三步，提取落在每个主颜色模式内所有像素的包括权重、均值和方差的空间分布信息，而且所有像素点的空间位置需要进行中心化处理(为了消除绝对位置的影响)； 

第四步，在每一帧跟踪结束之后，对主颜色模式及其空间分布信息进行更新； 

2.在完成对目标区域模板的“主颜色+空间”表示后，当跟踪系统获得一个候选区域时，需要对候选区域与目标模型进行相似度匹配。本发明就提出了基于交叉颜色比例的匹配准则，基本步骤如下： 

第一步，在给定目标模板的主颜色模式上利用最近邻算法确定候选区域的主颜色模式，再计算各自主颜色模式间的交叉比例矩阵； 

第二步，根据所建立的不同交叉比例矩阵，计算两个矩阵间的平方和距离作为颜色模式的匹配误差； 

第三步，根据目标模板中主颜色的空间分布信息，计算候选区域中对应颜色模式的空间匹配误差，并与颜色匹配误差进行融合； 

3.在应用退火粒子群优化框架前，需要定义一个适应值函数来表征样本粒子与目标模板的匹配程度。为了避免在适应值评价过程中多次计算图像的重复区域，本发明设计一种基于参数积分图的适应值快速计算方法，具体实现步骤如下：