[发明专利]基于CNN的自适应粒子滤波目标跟踪方法

说明书

本发明公开了基于CNN的自适应粒子滤波目标跟踪方法，方法包括以下步骤：获取跟踪目标的前几帧视频图像；通过卷积神经网络来提取跟踪目标的深度特征，获得目标的深层次表达；基于仿射变换构建候选模板库，采用粒子滤波跟踪算法，将预测结果与候选模版库中的模板进行匹配，确定新的目标模版并自适应更新候选模板库，确定当前目标状态实现跟踪。本发明有效的提高了视频目标跟踪的性能，能够在遮挡、光照、尺度变化和目标快速运动的条件下稳定地跟踪目标，具有更高的目标跟踪精度和更强的鲁棒性。

技术领域

本发明涉及一种视频目标跟踪方法，融合了图像处理、模式识别、人工智能、自动控制以及计算机等许多领域的先进技术，特别涉及一种基于CNN的自适应粒子滤波目标跟踪方法。

背景技术

目标跟踪技术是计算机视觉研究领域中最重要的研究方向之一，广泛应用于军事侦查、交通监控、人群分析、动作识别等军事和民用领域。传统目标跟踪算法分为自底向上和自顶向下的处理方法。自底向上的处理方法又称为基于判别式模型的跟踪方法，它不依赖于先验知识，直接从图像序列中获得目标的运动信息并进行跟踪。自顶向下的处理方法又称为基于生成式模型的跟踪方法，依赖于所构建的模型或先验知识，在图像序列中进行匹配运算或求解后验概率。近年出现了一系列具有代表性的目标跟踪算法，其中基于判别式模型的方法包括：多示例学习法(MIL)、跟踪学习检测算法(TLD)、多任务跟踪法(MTT)、结构化输出跟踪(Struck)等。基于生成式模型的方法有：增量视觉跟踪算法、Fragment法、视觉跟踪分解法、粒子滤波跟踪算法等。上述跟踪算法几乎都是采用人为手工设计的特征(例如直方图、HOG、SIFT特征等)。通过大量实验表明手工设计的特征具有局限性，不能适用于所有被跟踪目标。深度学习的发展为自动学习特征提供了可能。深度学习跟踪(DLT)使用栈式降噪自编码器把深度模型运用在单目标跟踪任务上的跟踪算法，提出了“离线预训练+在线微调”的思路，很大程度的解决了跟踪中训练样本不足的问题。Li等人用深度网络通过大量训练集进行离线训练得到，利用离线的方式训练深度网络，然后使用训练好的模型在线跟踪目标；Wang等人使用SDAE从大量图像训练集中学习图像通用的特征表达；Hinton等人针对复杂目标图像利用2层卷积神经网络(Convolutional Neural Network，CNN)来学习其通用特征。近年来，基于深度学习的跟踪算法使得跟踪算法性能的大幅提升，但其在应对目标遮挡、形变等使目标表观发生变化的情况下，目前的跟踪算法性能提升的不大。

为了解决上述情形下跟踪算法的性能不足的问题，将深度学习与模板更新结合，从而更好的应对目标表观的变化，然后进行视频目标跟踪。当目标于运动过程中发生的外观等变化，跟踪模板需要作出相应的改变。几乎所有的模式匹配跟踪算法都是先提取目标的一些特征作为模板，然后在当前帧内寻找其特征和这个模板最相似的区域，因此模板是目标的唯一表示。由于目标在运动过程中可能被外界障碍物遮挡，也有可能由于自身的运动而发生外观变化，要想正确地跟踪目标，模板就需要作出相应的改变。因此，模板更新问题就成为目标跟踪的核心问题之一。

现有的方法存在的不足：一方面，已有方法没有充分利用到目标本身的深度特征信息，因此会丢失一部分特征信息，使得特征缺乏鲁棒性，进而影响视频目标跟踪的性能；另一方面，已有的模板更新策略并不能适用所有的场合，则当目标出现光照变化、姿态变化或发生遮挡时，更新策略会使预测模板和目标模板相差较大，容易导致跟踪失败。

发明内容

本发明的目的旨在解决上述技术缺陷，深度特征使用卷积神经网络网络提取目标特征，与粒子滤波跟踪算法结合，把目标的仿射运动模型引入到粒子滤波的模板更新过程中，设计了一种自适应的模板更新策略，进而提出一种在复杂条件下具有较高跟踪准确率和成功率的目标跟踪算法。

为达到上述目的，本发明采用的技术方案为基于CNN的自适应粒子滤波目标跟踪方法，该方法包括以下步骤：

S1：使用数万张通用目标图像离线预训练一个卷积神经网络，训练好的卷积神经网络用于提取目标特征；

S2：将视频转化图像帧输入系统；