[发明专利]基于相关滤波和显著性检测的航拍视频目标跟踪方法

摘要

本发明涉及一种基于相关滤波和显著性检测的航拍视频目标跟踪方法，通过使用基于相关滤波和显著性检测的跟踪方法，结合方向梯度直方图特征和灰度特征，使得跟踪结果对于光照变化、噪声、遮挡等因素具有很强的鲁棒性，尤其是当目标被严重遮挡而导致跟踪失败时，本发明通过重检测机制，可以再次检测到目标，使得目标能够被长时间持续地跟踪；另外，基于剩余谱理论的显著性检测方法计算简便快捷，可以通过较小的计算代价实现对目标的重检测，能有效地满足航拍视频跟踪对算法实时性的要求。

主权项

1.一种基于相关滤波和显著性检测的航拍视频目标跟踪方法，其特征在于步骤如下：步骤1：读取视频中第一帧图像数据，得到目标所在的初始位置信息[x₁,y₁,w,h]，并赋予该图像数据一个是否要进行重检测的标志位Flag，置为0；其中：x₁,y₁表示第一帧目标中心P₁的横坐标和纵坐标，w,h表示目标的宽和高；步骤2：以目标初始位置中心点x₁,y₁确定一个目标区域R，R的大小为M×N，其中M＝3×w,N＝3×h；对R提取d维特征图，命名为x；根据x构造最优相关滤波器u^l，u^l在频域上的表示U^l称为目标模板，计算方法如下：其中：各个大写的变量为相应的小写变量在频域上的表示，高斯滤波模板(m,n)∈{0,...,M‑1}×{0,...,N‑1}，σ为高斯核的带宽，⊙代表元素相乘运算，上划线表示复共轭，A^l、B+λ分别为滤波器u^l的分子和分母，λ为调整参数，取0.010；与U^l等价，在后续操作中，只需要更新A^l、B+λ即可更新目标模板U^l；另外，把第一帧目标模板的分子A^l记作init_A^l，分母中的B记作init_B；l表示维度的索引，l∈{1,...,d}；进入下述循环处理步骤，直至跟踪结束：步骤3：读取第k帧图像，k≥2且起始值为2；判断Flag值是否为1，若是，则转步骤7；否则，在第k帧图像中以(x_k‑1,y_k‑1)为中心，提取大小为M×N的目标搜索区域，若该区域超出当前图像边界，不对其进行扩展，并将其调整为M×N大小；然后对目标搜索区域提取d维特征图，命名为z，再利用目标模板U^l计算目标置信图responce，计算下式，由responce中得到最大响应值mvalue，以及最大响应值对应的坐标(x',y')；其中，为傅里叶逆变换；步骤4：当最大响应值mvalue大于阈值T₁，将(x',y')作为目标在第k帧图像中的位置P_k，其坐标为(x_k,y_k)，并将标志num_lost置为0，转步骤6；否则，num_lost的值加1；所述num_lost表示各帧最大响应值连续小于T₁的帧数，且num_lost初始值为0；T₁取值范围为0.15‑0.25；步骤5：当num_lost大于5时，将Flag置为1，转步骤7；否则将(x',y')作为目标在第k帧图像中的位置P_k，其坐标为(x_k,y_k)；步骤6：在当前帧中以(x_k,y_k)为中心，w、h为宽和高标示出目标的位置，并提取大小为M×N的区域；若该区域超出当前图像边界，不对其进行扩展，并将其调整为M×N大小；对该区域提取d维特征图，命名为zn；若(x_k,y_k)来自步骤3中的(x',y')，则按照下式得到A_new^l、B_new：否则，按照下式得到A_new^l、B_new：将A_new^l、B_new的值分别赋给A^l、B，完成对A^l和B的更新；其中：η为模板更新学习率，取0.025；若处理完所有图像则算法结束，否则，k的值加1，转步骤3；步骤7：在当前帧图像中以loc_k为中心截取图像块Patch_k，其中，loc_k的坐标为(x_k‑1,y_k‑1)，Patch_k的宽和高分别为符号表示向下取整；若Patch_k超出当前帧图像边界，则不对Patch_k进行扩展；采用基于剩余谱理论的方法对Patch_k进行显著性检测，得到显著图Salience_k；然后使用最大类间方差法对Salience_k进行阈值分割，得到显著性阈值图Threshold_k，得到init个连通域；将质心在Threshold_k边界15个像素以内的连通域排除，得到last个连通域以及它们的质心cen_i，cen_i在显著性阈值图中的坐标为(r_i,c_i)；其中，若last为0，则k的值加1，num_lost的值加1，令(x_k,y_k)＝(x_k‑1,y_k‑1)，转步骤3；否则继续进行，其中，1≤i≤last；步骤8：通过下式得到每个质心cen_i在第k帧图像中的坐标cen_im_i：cen_im_i＝(r_i,c_i)‑(midx_i,midy_i)+(x_k‑1,y_k‑1)其中：(midx_i,midy_i)为Patch_k的中心在Patch_k中的坐标；无论Patch_k的边界是否与第k帧图像的边界重合，都将loc_k相对于Patch_k的位置作为Patch_k的中心；步骤9：以cen_im_i为中心，在当前帧图像中截取M×N大小的图像块impatch_i，若坐标超出图像边界，则将不对impatch_i进行扩展，将impatch_i调整为M×N大小；对impatch_i提取d维特征图，命名为zpatch_i，然后与当前的目标模板做相关滤波，再经过傅里叶反变换，得到响应最大值mvaluepatch_i；在所有mvaluepatch_i中选取最大值mvalue'，若mvalue'大于阈值T₂，则以mvalue'对应的cen_im_i作为新的目标位置P_k，其坐标为(x_k,y_k)，并将num_lost和Flag置为0，转步骤6；否则，令(x_k,y_k)＝(x_k‑1,y_k‑1)，num_lost的值加1，k的值加1，Flag的值不变，然后转步骤3；其中，T₂取值范围为0.10‑0.25；所述提取d维特征图时，维度d的构成包括27维方向梯度直方图特征加1维原始灰度特征，d取28。