本发明属于智能视频监控技术领域,提出了一种自适应分层关联多目标跟踪方法。本方法利用增量线性可判别分析(ILDA,Incremental Linear Discriminant Analysis)寻找一个能尽可能分离各个目标的投影矩阵,并提取各个目标的特征均值向量,并用其定义轨迹和候选目标进行匹配的关联代价函数,从而来指导连续轨迹和断开轨迹的增长。当前帧匹配结束后,计算各个轨迹最新匹配结果和其特征均值向量的差异,当差异大于一定阈值的时候,用该匹配结果来更新ILDA模型相关参数,否则不更新。相比现有技术,本发明能够减少多目标跟踪过程中由于目标外观相似而跟错目标的概率。