[发明专利]一种基于显著性的形变物体跟踪方法及其系统

摘要

本发明公开了一种基于视觉显著性的形变物体跟踪算法及其系统，方法包括以下步骤S1人工标定目标区域；S2通过基于视觉显著性的图像分割算法，获取包含前景目标的局部显著性图谱；S3对前景区域进行分割；S4建立目标前景模型；S5通过基于颜色特征的颜色直方图跟踪器对前景模型初始化；S6基于点特征的光流跟踪器获取候选目标并对其进行判定；S7获取目标最终位置；S8目标学习与更新。本发明该进行显著性处理的同时，还考虑了算法的计算效率，并通过局部大小窗的方法自动分割前景信息，通过前景信息矩阵建立一个软化模型，并生成对应模型的颜色直方图，进行直方图匹配，增加跟踪器的判断能力，同时通过学习器不断的学习目标的新模型。

主权项

一种基于显著性的形变物体跟踪方法，其特征在于：它包括以下步骤：S1：人工标定目标区域：在视频/图像序列第一帧，在图像的某一个区域手动框定一个矩形框得到框定区域bb1，来代表要跟踪的物体；所述的框定区域完全包含目标物体的所有部分；S2：通过基于视觉显著性的图像分割算法，获取图像包含前景目标的局部显著性图谱D(x,y)；S3：对前景区域进行分割；S4：建立目标前景模型；S5：通过基于颜色特征的颜色直方图跟踪器对前景模型初始化；S6：基于点特征的光流跟踪器获取候选目标并对其进行判定；S7：获取目标最终位置；S8：目标学习与更新；所述的步骤S2包括以下子步骤：S21：得到原图像对应的灰度图，包括以下子步骤：S2101：以框定矩形区域bb1为中心，生成一个长宽比一致、面积4倍于原矩形区域的新矩形区域bb2；S2102：在bb2区域内，计算灰度直方图，计算公式如下：c(k,i)=1,i=k0,i≠k,k∈[0,255],Ii∈I;]]>式中，k∈[0,255]代表灰度的256种像素值，I代表当前图像的所有像素点集合，Ii∈I，c(k,i)代表当对应图像的像素值i等于当前颜色k时，值为1，否则为0；S2103：根据步骤S2102得到的公式，得到某个像素k在整幅图像中出现的频数h(k)：h(k)=Σ∀Ii∈Ic(k,Ii),k∈[0,255];]]>通过重复计算k的每一个取值，得到整个图像的灰度直方图H(k)；S22：计算各个灰度图256个颜色对应的显著性值d(k)，即每个颜色的对比度，计算公式如下：d(k)=Σj=0255|k-j|*H(j);]]>式中，H(j)代表某个颜色的出现频数；|k‑j|为两个颜色本身的欧式距离，距离越大代表连个颜色的视觉差异越大；而颜色j出现的频数越高，则代表这个颜色本身出现的次数越多；d(k)代表颜色k在整幅图像中的显著性值；S23：根据步骤S22得到的颜色显著性函数，与原始图像对应，得到显著图谱，计算公式如下：D(x,y)＝d(I(x,y))；式中，I(x,y)代表原图像点(x,y)处的像素值，函数d(k)对应该像素值对应的显著性值，D(x,y)为原图像点(x,y)处的显著性值；所述的步骤S3包括以下子步骤：S31：将颜色显著性函数d(k)和灰度直方图H(k)绘制在同一坐标系内，对H(k)进行平滑滤波，并计算H(k)中所有的极值点；S32：将每两个极小值点对应的显著性值d(k1)和d(k2)当作阈值，重复对显著性图谱进行阈值分割，并获得极小值间的极大值所对应的颜色显著性值d(k12)，一共存在n个极小值对，公式如下：Seg(x,y)＝d(k12),D(x,y)∈[d(k1),d(k2)]；其中，Seg(x,y)代表经过阈值分割后的图像，即显著性图谱D(x,y)中所有介于[d(k1),d(k2)]区域的值都等于该区域所对应的颜色显著性极大值d(k12)；经过对所有极小值对的遍历，即可得到完整的Seg(x,y)，其中每个区域标识即为该区域的显著性图谱值；S33：将bb1和bb2之间的联通区域记为bb12，遍历所有n个分割区域，将点出现在bb12区域所对应的分割区域的所有值nm置为0，则剩下的非零区域即为前景区域，计算公式如下：Segm(x,y)=d(k12),(x,y)∈Segm,std:∃∀(x,y)∈(bb12);]]>式中，Segm代表分割图中的第m个区域；m∈[1,n]表示在m区域中，存在任意一个点同时也位于bb12中，则Segm区域内所有值均为0；最终得到的新矩阵记为Segn(x,y)；所述的步骤S4包括以下子步骤：建立一个新的矩阵patch1，令patch1＝Segn(x,y)，并作为模型库的第一个正样本；其中，patch1的非零元素代表前景，零元素代表背景，则patch1即为目标的最初模型；所述的步骤S5包括以下子步骤：对patch1计算其颜色直方图，计算公式如下：color(i)=Σpatch1s(x,y),std:ifpatch1(x,y)=i,s(x,y)=1;]]>式中，patch1(x,y)为patch1中(x,y)点的像素值，s(x,y)表示当patch1(x,y)的值等于当前颜色i时，s(x,y)点的对应值为1，这样依次遍历整个patch区域即可获取颜色i的个数color(i)；通过上式重复计算不同颜色i可得到256色图像的颜色直方图，记为histGram1；所述的步骤S6包括以下子步骤：S61：估计特征点的流动，在下一帧快速的跟踪到物体的部分特征点；S62：在特征点中心生成一个大小与前一帧的bb2相同的矩形区域；S63：在此区域内使用步骤S5得到颜色直方图histGram1，用滑动窗口的方式进行卡方匹配，计算公式如下：dist(H1,H2)=ΣI(H1(i)-H2(i))2H1(i)+H2(i);]]>式中，H1,H2分别为前后两帧图像的灰度直方图；i为灰度图的像素值，范围是0‑255；dist(H1,H2)输出两幅直方图的匹配结果，越小则表示两幅图像颜色分布越相近；通过遍历bb2内部的所有尺度下的矩形框，获得所有的匹配结果数组dist。