[发明专利]基于外观和运动连续性交叉验证的自适应模板更新策略

摘要

本发明属于计算机视觉技术领域，特别涉及一种用于目标跟踪的模板更新策略。一种基于外观和运动连续性交叉验证的自适应模板更新策略，其技术方案是首先建立目标外观模型与目标运动模型；利用外观模型完成帧间模板匹配和转换；利用运动模型对目标轨迹进行预测和跟踪。为了避免模板更新造成的误差累积和外观模型的动态变化，本发明提出了基于外观模型和运动模型交叉校验的自适应模板更新策略。利用本方法可有效避免了视觉跟踪过程中跟踪性能随时间的衰退，使目标跟踪的精度、可靠性和持续性大大提高。

主权项

基于外观和运动连续性交叉验证的自适应模板更新策略，其特征在于，步骤为：步骤一：目标外观模型的建立与跟踪；1.1外观模板特征提取与表达设I为某帧图像，图像I中的目标用矩形框T＝[x,y,w,h]确定，其中(x,y)为矩形框的左上点，w，h分别为矩形框的宽和高；将矩形框T内的图像区域作为参考模板并进行特征点的提取，获得特征点集S并将其作为该模板的特征表达；S＝{pi|pi＝(xi,yi),i＝1,2,…}    (1)其中，pi为图像I中任一特征点；1.2外观模板特征匹配在后续某帧图像I'中，对特征点集S中的各个特征点分别进行跟踪，得到特征点集S'，S'＝{p′i|p′i＝(x′i,y′i),i＝1,2,…,N}；其中，p′i为图像I'中任一特征点；图像I与图像I'之间特征点一一对应组成稀疏光流场；S={pi|pi=(xi,yi),i=1,2,...,N}↔S′={pi′|pi′=(xi′,yi′),i=1,2,...,N}---(2)]]>1.3映射关系求解及模外观板转移根据两帧图像I、I'之间匹配特征点对组成的稀疏光场，对下两帧图像I、I'中目标的几何映射模型H进行求解，设H为仿射变换矩阵，则任意一对匹配特征点满足：其中α1,…,α6为仿射变换矩阵参数，H的最优解通过对公式(4)目标函数求极值获得；H^=argminΣ1N[(<pi′>-H<pi>)2+(<pi>-H-1<pi′>)2]---(4)]]>利用对矩形框T的四个顶点进行映射变换即可得到图像I'中目标所处的位置T'；步骤二：目标运动模型的建立与更新；对步骤一中外观目标模板的匹配结果进行运动学建模并进行卡尔曼滤波：设Tn为第n帧图像In中的外观目标模板，(xn,yn)为模板Tn的几何中心坐标，则卡尔曼滤波系统变量和系统方程分别为，Xn=[xn,yn,x·n,y·n,x··n,y··n]T---(5)]]>Xn+1＝AXn+w   (6)Yn+1＝CXn+1+v   (7)其中，和分别为目标在水平和竖直方向上的速度和加速度；w为系统噪声；v为量测噪声，A和C分别为卡尔曼滤波系统状态转移矩阵和观测矩阵：A=10dt0dt2/20010dt0dt2/20010dt000010dt---(8)]]>C=100000010000---(9)]]>其中，dt是图像更新频率(帧/次)；根据图像In中的目标跟踪结果，利用公式(6)，(7)对下一帧图像中的目标所在位置进行一步预测，获得图像In+1中目标中心的预测位置通过继承前一帧目标的尺寸进而获得运动目标预测模板步骤三：自适应模板更新策略；建立K‑单元存储结构对历史跟踪结果进行保存；Φm＝{Ti|m‑K≤i≤m‑1,i∈N*}   (10)其中，m表示当前图像帧号，Ti表示第i帧图像的外观模板跟踪结果；K‑单元存储结构中按顺序依次存储着跟踪历程中最后K帧的跟踪结果；3.1给定新的一帧图像Im，根据上一帧图像Im‑1的外观跟踪结果Tm‑1，利用步骤二对图像Im中的目标进行估计，获得运动预测结果3.2选取存储结构Φm第一个元素Ti,i＝m‑K作为参考模板，根据步骤一对图像Im进行模板匹配获得外观跟踪结果3.3对外观跟踪结果和运动预测结果进行外观连续性和运动连续性交叉校验；3.3.1求外观匹配结果和运动预测结果的尺度变化率：f[T~(m|i)]=|1-area[T~(m|i)]area[T^(m|m-1)]|---(11)]]>其中，area(*)为面积函数，如果则满足外观连续性校验，设为候选目标并进入步骤3.3.2，否则令i＝i+1并返回步骤3.2，其中f*为尺度校验阈值；3.3.2运动连续性验证：基于概率数据关联滤波理论建立校验波门：V~m={Y~(m|i):[Y~(m|i)-Y^(m|m-1)]TPm-1[Y~(m|i)-Y^(m|m-1)]≤g2}---(12)]]>其中，g是根据卡方分布确定的门限值，为的中心，Pm为卡尔曼滤波产生的状态信息；Pm=APm-1AT+Sw-APm-1CTSz-1CPm-1AT---(13)]]>其中，Sw＝E(w,wT)为系统噪声协方差；如果候选目标的中心落入该校验波门，则满足运动连续性校验，进入步骤四，否则令i＝i+1，再采用存储结构中下一个单元中的目标作为参考模板重新对本帧图像进行目标跟踪；3.3.3如果Φm中所有元素产生的跟踪模板都无法通过3.3.1满足外观连续性校验，此时目标外观发生剧烈变化，则令运动预测结果作为本帧跟踪结果进入步骤四；如果存在目标满足3.3.1校验，但无法通过3.3.2校验，则对所有满足3.3.1校验的结果进行均值化作为本帧跟踪结果进入步骤四；步骤四：系统跟新；4.1根据跟踪结果利用卡尔曼滤波原理进行系统更新：X(m|m)=X(m|m-1)+Km(Y~m*-Y^(m|m-1))---(15)]]>其中，Km为卡尔曼增益，其定义为：Km＝APm‑1CT(CPm‑1CT+Sv)‑1   (16)其中Sv＝E(v,vT)为测量噪声协方差根据滤波结果，获得图像Im中的目标最终跟踪模板Tm；4.2对K‑单元存储结构进行更新，删掉结构中第一个元素Tm‑K，并将Tm添加至存储结构尾部，完成存储单元元素更新，令m＝m+1，进入步骤3.1，循环该跟踪过程。