[发明专利]航拍视频自动目标跟踪方法

摘要

本发明公开了一种航拍视频自动目标跟踪方法，用于解决现有基于稳像检测和数据关联的航拍视频目标跟踪方法跟踪错误率高的技术问题。技术方案是首先利用金字塔光流法提取鲁棒的光流轨迹特征，而非简单的运动前景分割；其次利用运动约束、位置约束、存在时长约束对光流轨迹进行有效管理；最后根据连续若干帧空间聚类结果进行时间维度上的聚类，有效克服目标交叉目标近距离情况下空间聚类错误问题。本发明在时空聚类基础之上，获得目标跟踪结果，降低了跟踪错误率。经测试，跟踪错误率由背景技术的18%降低到8%，跟踪错误率降低了10%。

主权项

1.一种航拍视频自动目标跟踪方法，其特征在于包括以下步骤：步骤一、输入一段航拍视频序列，首先是提取光流轨迹特征，并对其进行管理；ObjNum表示当前已经跟踪的目标个数，初始为0；L表示当前所有有效光流轨迹的个数，记光流轨迹集合为S={F_i,i=1,...,L}，初始状态下为空，表示当前第i条光流轨迹；对当前t时刻图像提取Harris角点，并选择角点响应大于0.01的角点作为侯选光流特征点，采用金字塔光流算法对S中的特征点和侯选特征点计算光流矢量，获得其在下一帧中相应的位置；利用RANSAC方法和侯选光流特征点对计算当前帧和下一帧之间的仿射变换模型AF，并将侯选特征点分为内点和外点，内点为符合变换模型的背景点，外点为运动目标上的点；对于这些外点计算其与S中已有光流特征点的最小空间距离，若大于给定阈值，则作为新的特征点加入S，新特征点对应的目标ID为0；AF=[R|T]           (1)其中R和T分别为旋转矩阵和平移矩阵；对光流轨迹集合中旧特征点利用公式(2)计算运动补偿之后的运动矢量；MVi,t=xi,t+1yi,t+1-AF×xi,tyi,t---(2)]]>若||MV_i,t||₂<Threshold_v或Length(F_i)<Threshold_l，则从S中删除F_i；其中Length(F_i)表示F_i存在时间长度，Threshold_v和Threshold_l分别为速度阈值和存在时长阈值；用N表示时间聚类阈值，将S中所有光流轨迹投影到t+1时刻的图像坐标系下，并选择所有存在时长大于N的轨迹构成聚类光流集合CS={CF_j,j=1,...,J},进行后续聚类处理,为第j条参与聚类的特征轨迹，J为参与聚类的轨迹个数；步骤二、取光流轨迹在当前时刻的位置{(x_j,t,y_j,t),j=1,...,J}作为样本点进行聚类，由于目标类别数不确定，无法事先确定聚类类别数；给定聚类距离阈值Threshold_d（本施例中取采用最近邻聚类，得到聚类的结果，记当前聚类类别数为k_t，具体聚类步骤如下：(1)初始化；当前类别数设置为0；(2)对所有样本点(x_j,t,y_j,t),j=1,...,J进行如下操作：a)如果当前类别数为0，建立一个新类别，如果当前类别数不为0，计算当前样本点(x_j,t,y_j,t)与所有类别的距离，记最小距离为mindistance，对应的类别为k_m，若mindistance<Threshold_d，那么将(x_j,t,y_j,t)归入第k_m类，并更新第k_m类的中心和样本数；若mindistance≥Threshold_d，则建立一个新类别，将当前样本点(x_j,t,y_j,t)作为新类别的中心，类别数加1；根据聚类结果得到当前帧J×J维对称关联矩阵AM_t，满足AM_t(j₁,j₂)=AM_t(j₂,j₁)，AM_t(j₁,j₂)=1表示j₁条光流轨迹和第j₂条光流轨迹聚为同一类，AM_t(j₁,j₂)=0则表示属于不同类；依次对t-1,t-2,...,t-N+1时刻的轨迹特征进行空间聚类，分别得到相应的空间关联矩阵AMt0,t0=t-N+1,...,t;]]>步骤三、分别对之前连续N帧重复步骤二中的聚类操作，得到相应的关联矩阵AM_t-N+1,...,AM_t-1；步骤四、利用公式(1)ATM(i,j)=Σt0=t-N+1tAMt0(i,j)---(3)]]>统计任意两条光流轨迹聚为同一类的次数，得到关联次数矩阵ATM；步骤五、给定关联阈值α，根据公式(4)AM(i,j)=1ATM(i,j)>N×α0otherwise---(4)]]>计算关联矩阵AM，AM(i,j)=1表示第i条光流轨迹和第j条光流轨迹来自于同一个目标，否则为不同目标；步骤六、根据关联矩阵AM将光流轨迹分为不同类，并计算各个类中心作为目标位置；最终队列个数C即为当前跟踪目标个数；根据时空聚类结果，计算当前跟踪目标中心，并绘制多目标轨迹；确定目标中心和ID具体步骤如下：遍历所有队列Q_c,c=1,...,C，依次执行如下操作：(1)统计当前队列Q_c所有轨迹对应目标ID，若全为0，执行步骤(2)；若不全为0，执行步骤(3)；(2)建立一个新的跟踪目标，跟踪目标个数ObjNum加1，当前队列Q_c所有轨迹目标ID置为ObjNum；(3)统计各个不为0的ID对应的轨迹个数，选择个数最多的ID作为当前队列Q_c所有轨迹的目标ID；(4)利用公式(5)和公式(6)计算当前队列对应的目标中心，其中M_c为当前目标对应轨迹个数；xc=1McΣi=1Mcxi,t---(5)]]>yc=1McΣi=1Mcyi,t---(6)]]>(5)选择队列中最长的轨迹作为当前目标跟踪的轨迹并输出显示。