[发明专利]基于深度信息的相关滤波跟踪方法及装置

说明书

本发明公开了一种基于深度信息的相关滤波跟踪方法及装置，其方法包括：基于深度图的图像分割技术，自适应性量化深度信息，得到深度图像分割结果；利用深度图像分割结果，根据不同场景构建相应的三维空间模型的分层结构；利用分层结构，并结合核相关滤波跟踪算法处理目标尺度变化及检测遮挡。本发明一方面过滤前景和背景信息减少跟踪的干扰因素，结合成熟的图像特征提取技术；另一方面这样的分层结构简化了深度信息的使用方法，使得处理目标尺度变化以及检测遮挡更为容易。结合核相关滤波跟踪算法实现了使用二维表观模型在空间结构下的跟踪方法，能够有效应对遮挡和处理目标尺度变化，提高视觉跟踪效果。

技术领域

本发明涉及视觉目标跟踪技术领域，尤其涉及一种基于深度信息的相关滤波跟踪方法及装置。

背景技术

视觉目标跟踪属于视频分析，作为计算机视觉领域的一个重要分支，它的基本任务是根据给定的目标在初始帧的位置信息，预测目标在视频序列中的位置、区域以及运动轨迹。视频分析支持很多应用，如对物体的运动进行检测，对目标进行分类，理解目标的行为等等，涉及到了计算机视觉研究领域的中高层处理阶段，包括研究视频序列中的物体运动规律，进而为系统的决策提供语义和非语义的信息。近年来，随着各类跟踪算法的不断创新，深度学习的飞速发展以及计算机处理速度的提升，实时的甚至高速的目标跟踪算法出现，有力地推动视频智能处理领域的发展，它在智能人机交互、虚拟现实、视频监控等应用领域都具有巨大的潜力。

遮挡是三维世界投影到二维平面的信息损失导致的，因此出现一些使用深度信息的二维或三维跟踪方法，借助三维空间结构来帮助解决这些难题，并取得了一定的进展。目前基于深度信息的跟踪算法分为两类，其中二维跟踪方法不能有效的使用深度信息，没有把深度信息与已有的跟踪算法深度融合。而三维跟踪方法由于缺乏比较成熟的三维特征提取技术，目标的三维表观模型并不鲁棒，进而影响其跟踪效果。但是在目标被遮挡、目标尺度变化或处于复杂背景等情况下，尤其是目标被长时间或者严重遮挡的时候，如何准确跟踪目标仍是困扰着研究者们的难题。这些问题中部分存在的原因是因为三维世界的信息映射到二维平面导致的信息损失，如果可以获得帮助标定三维空间位置的信息，就可以在一定程度上解决遮挡、复杂背景等问题。

发明内容

本发明提供一种基于深度信息的相关滤波跟踪方法及装置，结合核相关滤波跟踪算法实现了使用二维表观模型在空间结构下的跟踪方法，能够有效应对遮挡和处理目标尺度变化，提高视觉跟踪效果。

为实现上述目的，本发明提供一种基于深度信息的相关滤波跟踪方法，包括以下步骤：

基于深度图的图像分割技术，自适应性量化深度信息，得到深度图像分割结果；

利用所述深度图像分割结果，根据不同场景构建相应的三维空间模型的分层结构；

利用所述分层结构，并结合核相关滤波跟踪算法处理目标尺度变化及检测遮挡。

其中，所述基于深度图的图像分割技术，自适应性量化深度信息，得到深度图像分割结果的步骤包括：

使用目标深度值的统计结果来初始化K-Means聚类的相关参数，并估计相关参数，所述相关参数包括聚类中心和类簇个数K；

根据估计的相关参数进行K-Means聚类过程，得到聚类结果标签图；

对所述聚类结果标签图进行滤波处理，得到深度图像分割结果。

其中，所述使用目标深度值的统计结果来初始化K-Means聚类的相关参数，并估计相关参数的步骤包括：

初始化K值为3，选择深度直方图中的局部峰值；

对于深度直方图剩余的区间，计算其与所有聚类中心点的距离，取其中最小值，即找到与其最近的聚类中心点的距离；

从所有最近的距离中选出具有最大值的区间作为下一个聚类中心点；