[发明专利]一种基于伪孪生网络的无人机自适应目标跟踪方法

说明书

本发明公开了一种基于伪孪生网络的无人机自适应目标跟踪方法，其中，所述方法包括：在视频序列帧的第一帧图像中选取跟踪目标，建立跟踪目标的目标跟踪模型并存入模板库分支，并将模板库分支选出的模板作为跟踪分支下一帧图像的目标跟踪模型进行目标跟踪；读入下一帧图像，以上一帧图像的跟踪目标的中心位置建立候选目标模型；对跟踪目标与候选目标模型的相似度进行判决，计算跟踪目标位置和尺度信息；修正跟踪目标尺度信息；在模板库分支中对当前帧图像的目标模型进行评估，根据评估结果选择是否更新模板库；判断当前帧图像是否为最后一帧图像，若是则结束，若否，则返回。在本发明实施例中，适用于无人机平台搭载，能自适应调整跟踪框的大小。

技术领域

本发明涉及目标跟踪技术领域，尤其涉及一种基于伪孪生网络的无人机自适应目标跟踪方法。

背景技术

无人机目标跟踪是指：基于无人机平台对运动目标进行在线跟踪。在智能交通系统、安防监控系统、农业生产监测等领域有很好的应用前景。一般在线视觉跟踪具有4个基本组成部分：运动模型、特征提取、观测模型、在线更新机制。运动模型描述帧与帧目标运动状态之间的关系，在视频帧中预测目标图像区域，并给出一组可能的候选区域；外观模型在当前帧判决候选图像区域是被跟踪目标的可能性；鉴别性的特征表示目标是目标跟踪的关键之一，在线视觉跟踪算法要求提取的视觉特征既能较好地描述跟踪目标又能快速计算；在线更新机制在跟踪过程中更新外观模型，保证跟踪的鲁棒性。

由于无人机在高空中飞行，无人机自身的运动以及跟踪目标的变化，导致跟踪过程中存在目标尺度变化、背景干扰、初始帧特征模型拟合能力逐渐减弱等问题，这给无人机目标跟踪带来挑战。目前有很多学者通过研究传统的相关滤波算法和孪生网络模型，提出一些端到端、无监督的先进跟踪算法、模型，可以有效缓解这些问题。但这些方法对计算资源要求较高，不适合用在无人机实时跟踪的过程中。

而基于颜色特征的核密度估计方法用于跟踪领域，实现简单，速度较快，对目标的非刚性变化、旋转等挑战都具有较好的鲁棒性。核密度估计方法在应用到目标跟踪上的时候，首先需要在初始帧图像上框选目标模板，框定的窗口大小作为核窗的宽度，然后在目标模板图像中对需要被跟踪的目标进行建模，一般在建模的时候使用颜色直方图作为目标特征，然后选择目标可能移动的区域建立候选模型，同样使用颜色直方图进行建模，得到一系列的候选模板，将目标模板与候选模板进行对比，通过使用某种相似性度量(Bhattacharyya系数)来比较二者之间的相似性，选择相似性最大的候选模板，得到此次迭代的均值漂移向量，并将目标的位置通过该向量转移到候选模板的位置，此为基础开始下一次迭代，直到符合某种收敛条件为止。文志强等人已经证明，基于颜色特征的核密度估计方法在特定的核函数模型下是具有收敛性的。因此，从初始帧开始，图像中心点通过不断地迭代，最终一定会收敛到目标的真实位置从而达到跟踪的目的。但这种方法在跟踪的过程中，模板的核宽一直保持不变，而当目标的大小发生改变或者与摄像机距离发生变化时，新目标的真实核宽可能会发生改变。而且在跟踪过程中始终以第一帧的目标作为目标模型，缺乏必要的模板更新。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种基于伪孪生网络的无人机自适应目标跟踪方法，适用于无人机平台搭载，能自适应调整跟踪框的大小，并解决跟踪过程中初始帧目标模型特征拟合能力逐渐减弱的问题，增强跟踪的准确性和鲁棒性。

为了解决上述技术问题，本发明实施例提供了一种基于伪孪生网络的无人机自适应目标跟踪方法，所述方法包括：

在视频序列帧的第一帧图像中选取跟踪目标，并基于伪孪生网络建立所述跟踪目标的目标跟踪模型；

将第一帧图像的目标跟踪模型存入模板库分支，并将模板库分支选出的模板作为跟踪分支下一帧图像的目标跟踪模型进行目标跟踪；

读入下一帧图像，以上一帧图像的跟踪目标的中心位置建立候选目标模型；

利用背景像素权重对跟踪目标与候选目标模型的相似度进行判决，并进行迭代计算当前帧图像的跟踪目标位置和尺度信息；