[发明专利]跟踪方法

说明书

技术领域

本发明涉及一种用于跟踪帧序列中的至少一个对象的方法，每一个帧包括一个像素阵列，其中深度值与每一个像素相关联。

背景技术

为了跟踪现实的对象，早已提出使用数据处理设备，该数据处理设备被连接到成像设备并且被编程以便跟踪视频序列中的该对象，该视频序列由该成像设备产生并且包括一序列的连续帧，每一个帧包括像素阵列。

例如，Wel Du和Justus Piater的论文“Tracking by Cluster Analysis of Feature Points using a Mixture Particle Filter”公开了一种使用Harris角点检测器和Lucas-Kanade跟踪器来跟踪视频序列中的对象的方法。然而，因为此方法被应用于不具有像素深度信息的二维视频序列，所以尽管有相当大的数据处理需求，但其性能有限。

公开用于跟踪具有二维像素阵列的视频序列中的一个或数个对象的方法的一些其他相关论文是：

S.Mckenna、S.Jabri、Z.Duric和H.Wechsler,“Tracking Groups of People”,Computer Vision and Image Understanding,2000；

F.Brémond和M.Thonnat,“Tracking multiple nonrigid objects in video sequences”,IEEE Trans.On Circuits and Systems for Video Techniques,1998；

I Haritaoglu,“A Real Time System for Detection and Tracking of People and Recognizing Their Activities”,University of Maryland,1998；

G.Pingali、Y.Jean和A.Opalach,“Ball Tracking and Virtual Replays for Innovative Tennis Broadcasts”,15th Int.Conference on Pattern Recognition。

然而，因为在不具有任何直接像素深度信息的2D视频序列上执行这些跟踪方法，所以它们的性能必然是有限的，因为图像分割仅可以基于诸如颜色、形状或纹理之类的其它对象属性。

已提出了（例如在国际专利申请WO2008/128568中）使用提供视频序列的3D成像系统，其中深度值与每一帧的每个像素相关联。与基于纯粹二维图像的方法相比，这样的跟踪方法产生与被跟踪对象有关的多得多的位置信息。特别地，3D成像系统的使用有助于前景与背景之间的辨别。然而，所公开的方法没有解决跟踪多于一个对象的问题，以及特别地，跟踪在该3D成像系统的视野中被另一对象至少部分地遮挡的对象的问题。在WO2008/128568中，公开了一种用于辨识三维空间中的体积的方法，其中三维图像数据包括该三维空间中的多个点。这些点是聚类的，并且聚类被选择作为兴趣点。将所选择的聚类中的点再分组到子聚类中，每个子聚类具有质心和与该质心相关联的体积。可以连接质心以形成表示对象的网络，并且极点被识别为连接到仅一个其他质心的质心。

A.Azerbayerjani和C.Wren在“Real-Time 3D Tracking of the Human Body”,Proc.of Image’com,1996中，并且T.Olson和F.Brill在“Moving Object Detection and Event Recognition Algorithms For Smart Cameras”,Proc.Image Understanding Workshop,1997中已经公开了使用3D视频序列但无法解决遮挡问题的其它跟踪方法。

一些其它公开物已解决了该遮挡问题。Liège大学的电子工程与计算机科学系的Pierre F.Gabriel、Jacques G.Verly、Justus H.Piater和AndréGenon 在他们的评论文章“The State of the Art in Multiple Object Tracking Under Occlusion in Video Sequences”中已呈现各种方法中的若干。