[发明专利]一种基于显著性的形变物体跟踪方法及其系统

权利要求书

1.一种基于显著性的形变物体跟踪方法，其特征在于：它包括以下步骤：

S1：人工标定目标区域：在视频/图像序列第一帧，在图像的某一个区域手动框定一个矩形框得到框定区域bb₁，来代表要跟踪的物体；所述的框定区域完全包含目标物体的所有部分；

S2：通过基于视觉显著性的图像分割算法，获取图像包含前景目标的局部显著性图谱D(x,y)；

S3：对前景区域进行分割；

S4：建立目标前景模型；

S5：通过基于颜色特征的颜色直方图跟踪器对前景模型初始化；

S6：基于点特征的光流跟踪器获取候选目标并对其进行判定；

S7：获取目标最终位置；

S8：目标学习与更新；

所述的步骤S2包括以下子步骤：

S21：得到原图像对应的灰度图，包括以下子步骤：

S2101：以框定矩形区域bb₁为中心，生成一个长宽比一致、面积4倍于原矩形区域的新矩形区域bb₂；

S2102：在bb₂区域内，计算灰度直方图，计算公式如下：

c(k,i)=1,i=k0,i≠k,k∈[0,255],Ii∈I;]]>

式中，k∈[0,255]代表灰度的256种像素值，I代表当前图像的所有像素点集合，I_i∈I，c(k,i)代表当对应图像的像素值i等于当前颜色k时，值为1，否则为0；

S2103：根据步骤S2102得到的公式，得到某个像素k在整幅图像中出现的频数h(k)：

h(k)=Σ∀Ii∈Ic(k,Ii),k∈[0,255];]]>

通过重复计算k的每一个取值，得到整个图像的灰度直方图H(k)；

S22：计算各个灰度图256个颜色对应的显著性值d(k)，即每个颜色的对比度，计算公式如下：

d(k)=Σj=0255|k-j|*H(j);]]>

式中，H(j)代表某个颜色的出现频数；|k-j|为两个颜色本身的欧式距离，距离越大代表连个颜色的视觉差异越大；而颜色j出现的频数越高，则代表这个颜色本身出现的次数越多；d(k)代表颜色k在整幅图像中的显著性值；

S23：根据步骤S22得到的颜色显著性函数，与原始图像对应，得到显著图谱，计算公式如下：

D(x,y)＝d(I(x,y))；

式中，I(x,y)代表原图像点(x,y)处的像素值，函数d(k)对应该像素值对应的显著性值，D(x,y)为原图像点(x,y)处的显著性值；

所述的步骤S3包括以下子步骤：

S31：将颜色显著性函数d(k)和灰度直方图H(k)绘制在同一坐标系内，对H(k)进行平滑滤波，并计算H(k)中所有的极值点；

S32：将每两个极小值点对应的显著性值d(k₁)和d(k₂)当作阈值，重复对显著性图谱进行阈值分割，并获得极小值间的极大值所对应的颜色显著性值d(k₁₂)，一共存在n个极小值对，公式如下：

Seg(x,y)＝d(k₁₂),D(x,y)∈[d(k₁),d(k₂)]；

其中，Seg(x,y)代表经过阈值分割后的图像，即显著性图谱D(x,y)中所有介于[d(k₁),d(k₂)]区域的值都等于该区域所对应的颜色显著性极大值d(k₁₂)；

经过对所有极小值对的遍历，即可得到完整的Seg(x,y)，其中每个区域标识即为该区域的显著性图谱值；

S33：将bb₁和bb₂之间的联通区域记为bb₁₂，遍历所有n个分割区域，将点出现在bb₁₂区域所对应的分割区域的所有值n_m置为0，则剩下的非零区域即为前景区域，计算公式如下：

Segm(x,y)=d(k12),(x,y)∈Segm,std:∃∀(x,y)∈(bb12);]]>

式中，Seg_m代表分割图中的第m个区域；m∈[1,n]表示在m区域中，存在任意一个点同时也位于bb₁₂中，则Seg_m区域内所有值均为0；最终得到的新矩阵记为Segⁿ(x,y)；

所述的步骤S4包括以下子步骤：建立一个新的矩阵patch₁，令patch₁＝Segⁿ(x,y)，并作为模型库的第一个正样本；其中，patch₁的非零元素代表前景，零元素代表背景，则patch₁即为目标的最初模型；

所述的步骤S5包括以下子步骤：对patch₁计算其颜色直方图，计算公式如下：

color(i)=Σpatch1s(x,y),std:if patch1(x,y)=i,s(x,y)=1;]]>

式中，patch₁(x,y)为patch₁中(x,y)点的像素值，s(x,y)表示当patch₁(x,y)的值等于当前颜色i时，s(x,y)点的对应值为1，这样依次遍历整个patch区域即可获取颜色i的个数color(i)；通过上式重复计算不同颜色i可得到256色图像的颜色直方图，记为histGram₁；

所述的步骤S6包括以下子步骤：

S61：估计特征点的流动，在下一帧快速的跟踪到物体的部分特征点；

S62：在特征点中心生成一个大小与前一帧的bb₂相同的矩形区域；

S63：在此区域内使用步骤S5得到颜色直方图histGram₁，用滑动窗口的方式进行卡方匹配，计算公式如下：

dist(H1,H2)=ΣI(H1(i)-H2(i))2H1(i)+H2(i);]]>

式中，H₁,H₂分别为前后两帧图像的灰度直方图；i为灰度图的像素值，范围是0-255；

dist(H₁,H₂)输出两幅直方图的匹配结果，越小则表示两幅图像颜色分布越相近；通过遍历bb₂内部的所有尺度下的矩形框，获得所有的匹配结果数组dist。