[发明专利]基于相关滤波和图像分割的航拍视频目标鲁棒跟踪方法

摘要

本发明涉及一种基于相关滤波和图像分割的航拍视频目标鲁棒跟踪方法，通过使用基于相关滤波和图像分割的跟踪方法，结合方向梯度直方图特征和颜色属性特征，使得跟踪结果对于光照变化、噪声、遮挡等因素具有很强的鲁棒性，尤其是当目标当发生遮挡或者旋转等情况而发生外观变化时，本发明利用图像分割操作周期性地调整目标的外观；另外，本发明利用基于SI的策略实现高置信度的模型更新策略，使相关滤波模型更加鲁棒，而且，本发明能有效地满足航拍视频跟踪对算法实时性的要求。

主权项

1.一种基于相关滤波和图像分割的航拍视频目标鲁棒跟踪方法，其特征在于步骤如下：步骤1：读取视频中第一帧图像数据以及目标所在的初始位置信息[x₁,y₁,w₁,h₁]，其中(x₁,y₁)表示第一帧目标中心P₁的横坐标和纵坐标，[w₁,h₁]表示目标初始的宽和高，将Flag置为0；其中，Flag为判断是否要更新目标外观的标志位，将目标的尺度记为scale，初始化为1；步骤2：以目标初始位置中心点(x₁,y₁)为中心，M、N为边长，采样一个目标区域R，对R提取d维特征图x_target，其中，维度d的构成包括31维方向梯度直方图特征加11维颜色属性特征，根据x_target构造最优相关滤波器在频域上的表示称为目标模型，计算方法如下：其中，如果不加特殊说明，各个大写的变量为相应的小写变量在频域上的表示，高斯滤波模板(m,n)∈{0,...,M‑1}×{0,...,N‑1}，σ为高斯核的带宽，⊙代表元素相乘运算，上划线表示复共轭，A^l、B+λ₁分别为滤波器U_target^l的分子和分母，与等价，λ₁为调整参数；在后续操作中，只需要更新A^l、B+λ₁即可更新目标模型l表示维度的索引，l∈{1,...,d}；步骤3：以目标初始位置中心点x₁,y₁为中心提取S个不同尺度的图像子块，每个子块的大小为scale×[M,N]×s，变量s为图像子块的尺度因子，s∈[0.7,0.8,0.9,1.0,1.1,1.2,1.3,1.4]，然后通过上采样，即当s<1或降采样，即当s>1将图像块缩放到[M,N]的大小，并且按照步骤2的方法分别提取每个子块的特征图，然后将各个特征图矩阵连接之后成为一个S维的特征图，这里将其命名为尺度特征图，记为x_scale，再根据x_scale构建尺度模型U_scale，计算方法与步骤2中计算的过程类似，用尺度特征图替换掉x_target，具体如下：其中，s'为高斯函数自变量，s'∈{1,2,...,S}，σ_scale为高斯核的带宽，λ₂为调整参数；步骤4：读取第k帧图像，k≥2且起始值为2，若k可以整除20，则转步骤6，即每20帧实施一次更新外观模板的操作；否则，在第k帧图像中以(x_k‑1,y_k‑1)为中心，提取大小为[M,N]×scale的目标搜索区域，并缩放为[M,N]大小，然后通过步骤2中的方法提取特征图，命名为Z_target，再利用目标模型计算目标置信图rp_target，计算方法如下：其中，为傅里叶逆变换，可以得到rp_target中的最大响应值val_target，其对应点：计算最大响应值位置(x”,y”)与rp_target中心的距离，乘以scale，然后与(x_k‑1,y_k‑1)相加可以得到新的目标位置(x',y')；步骤5：在第k帧图像中以(x',y')为中心，提取S个不同尺度的图像子块，每个子块的大小为scale×[M,N]×s，并按照步骤3的方法分别提取这些图像子块的尺度特征图Z_scale，利用尺度模型U_scale^l计算尺度置信图：更新目标的尺度scale，计算方法如下：scale'＝re_scale×scalescale＝scale'                       (6)至此，得到了第k帧图像的目标位置(x',y')，更新了目标的尺度scale，以及利用目标模型计算得到的目标置信图rp_target，并转步骤7；步骤6：在第k帧图像中以(x_k‑1,y_k‑1)为中心，提取大小为(1.2×scale)×[M,N]的目标搜索区域Patch，利用基于Grow Cut的图像分割方法，对Patch进行图像分割处理，并使用3×3的大小的模板块对分割之后得到的二值图进行中值滤波处理得到最终的分割阈值图thre，其中，在Patch中，将以(x_k‑1,y_k‑1)为中心的3×3的邻域作为目标种子点，以Patch上、下、左、右最边界的像素作为背景种子点；步骤7：分析thre中包围目标连通域的最小矩形rect，若rect的面积area大于w₁×h₁×(0.81×scale)且小于w₁×h₁×(1.44×scale)，将Flag置为1；否则，继续进行；步骤8：若Flag为1，则将rect的中心在第k帧图像中的位置作为目标的位置，记为(x_k,y_k)，将rect的尺寸作为目标的大小，记为[w_k,h_k]，并将scale置为1；否则，我们将(x',y')作为第k帧的目标位置，记为(x_k,y_k)，并以[w₁,h₁]×scale作为新的目标大小，记为[w_k,h_k]；步骤9：在第k帧中第以(x_k,y_k)为中心，w_k、h_k为宽和高标示出目标的位置，并提取大小为(2.5×w_k)×(2.5×h_k)的区域，并将其缩放为M×N大小，按照步骤2中的方法对该区域提取特征图，命名为zn_target，同样，也能够提取到最优目标尺度对应的尺度特征向量，命名为zn_scale；若Flag为0，则首先按照如下方式计算rp_target的稳定性评价指数：如果SI的值小于30，则不更新当前模型，否则按照如下的加权平均的方式更新和U_scale：其中，η、β为每个模型的学习率；若Flag为1，按照下式重新初始化：步骤10：判断是否处理完所有图像，如果是则结束；否则转回步骤4。