[发明专利]基于相关滤波和显著性检测的航拍视频目标跟踪方法

权利要求书

1.一种基于相关滤波和显著性检测的航拍视频目标跟踪方法，其特征在于步骤如下：

步骤1：读取视频中第一帧图像数据，得到目标所在的初始位置信息[x₁,y₁,w,h]，并赋予该图像数据一个是否要进行重检测的标志位Flag，置为0；其中：x₁,y₁表示第一帧目标中心P₁的横坐标和纵坐标，w,h表示目标的宽和高；

步骤2：以目标初始位置中心点x₁,y₁确定一个目标区域R，R的大小为M×N，其中M＝3×w,N＝3×h；对R提取d维特征图，命名为x；

根据x构造最优相关滤波器u^l，u^l在频域上的表示U^l称为目标模板，计算方法如下：

其中：各个大写的变量为相应的小写变量在频域上的表示，高斯滤波模板(m,n)∈{0,...,M-1}×{0,...,N-1}，σ为高斯核的带宽，⊙代表元素相乘运算，上划线表示复共轭，A^l、B+λ分别为滤波器u^l的分子和分母，λ为调整参数，取0.010；与U^l等价，在后续操作中，只需要更新A^l、B+λ即可更新目标模板U^l；另外，把第一帧目标模板的分子A^l记作init_A^l，分母中的B记作init_B；l表示维度的索引，l∈{1,...,d}；

进入下述循环处理步骤，直至跟踪结束：

步骤3：读取第k帧图像，k≥2且起始值为2；判断Flag值是否为1，若是，则转步骤7；否则，在第k帧图像中以(x_k-1,y_k-1)为中心，提取大小为M×N的目标搜索区域，若该区域超出当前图像边界，不对其进行扩展，并将其调整为M×N大小；然后对目标搜索区域提取d维特征图，命名为z，再利用目标模板U^l计算目标置信图responce，计算下式，

由responce中得到最大响应值mvalue，以及最大响应值对应的坐标(x',y')；

其中，为傅里叶逆变换；

步骤4：当最大响应值mvalue大于阈值T₁，将(x',y')作为目标在第k帧图像中的位置P_k，其坐标为(x_k,y_k)，并将标志num_lost置为0，转步骤6；否则，num_lost的值加1；

所述num_lost表示各帧最大响应值连续小于T₁的帧数，且num_lost初始值为0；T₁取值范围为0.15-0.25；

步骤5：当num_lost大于5时，将Flag置为1，转步骤7；否则将(x',y')作为目标在第k帧图像中的位置P_k，其坐标为(x_k,y_k)；

步骤6：在当前帧中以(x_k,y_k)为中心，w、h为宽和高标示出目标的位置，并提取大小为M×N的区域；若该区域超出当前图像边界，不对其进行扩展，并将其调整为M×N大小；

对该区域提取d维特征图，命名为zn；若(x_k,y_k)来自步骤3中的(x',y')，则按照下式得到A_new^l、B_new：

否则，按照下式得到A_new^l、B_new：

将A_new^l、B_new的值分别赋给A^l、B，完成对A^l和B的更新；

其中：η为模板更新学习率，取0.025；若处理完所有图像则算法结束，否则，k的值加1，转步骤3；

步骤7：在当前帧图像中以loc_k为中心截取图像块Patch_k，其中，loc_k的坐标为(x_k-1,y_k-1)，Patch_k的宽和高分别为符号表示向下取整；若Patch_k超出当前帧图像边界，则不对Patch_k进行扩展；

采用基于剩余谱理论的方法对Patch_k进行显著性检测，得到显著图Salience_k；然后使用最大类间方差法对Salience_k进行阈值分割，得到显著性阈值图Threshold_k，得到init个连通域；

将质心在Threshold_k边界15个像素以内的连通域排除，得到last个连通域以及它们的质心cen_i，cen_i在显著性阈值图中的坐标为(r_i,c_i)；其中，若last为0，则k的值加1，num_lost的值加1，令(x_k,y_k)＝(x_k-1,y_k-1)，转步骤3；否则继续进行，其中，1≤i≤last；

步骤8：通过下式得到每个质心cen_i在第k帧图像中的坐标cen_im_i：

cen_im_i＝(r_i,c_i)-(midx_i,midy_i)+(x_k-1,y_k-1)

其中：(midx_i,midy_i)为Patch_k的中心在Patch_k中的坐标；

无论Patch_k的边界是否与第k帧图像的边界重合，都将loc_k相对于Patch_k的位置作为Patch_k的中心；

步骤9：以cen_im_i为中心，在当前帧图像中截取M×N大小的图像块impatch_i，若坐标超出图像边界，则将不对impatch_i进行扩展，将impatch_i调整为M×N大小；对impatch_i提取d维特征图，命名为zpatch_i，然后与当前的目标模板做相关滤波，再经过傅里叶反变换，得到响应最大值mvaluepatch_i；在所有mvaluepatch_i中选取最大值mvalue'，若mvalue'大于阈值T₂，则以mvalue'对应的cen_im_i作为新的目标位置P_k，其坐标为(x_k,y_k)，并将num_lost和Flag置为0，转步骤6；否则，令(x_k,y_k)＝(x_k-1,y_k-1)，num_lost的值加1，k的值加1，Flag的值不变，然后转步骤3；其中，T₂取值范围为0.10-0.25；

所述提取d维特征图时，维度d的构成包括27维方向梯度直方图特征加1维原始灰度特征，d取28。