[发明专利]一种应用于机动平台的嵌入式孪生网络实时跟踪方法

说明书

本发明涉及一种应用于机动平台的嵌入式孪生网络实时跟踪方法，以实现端到端的深度学习目标跟踪，如下：(1)采用孪生网络结构对模板图像与搜索图像进行特征提取，分别得到对应的特征图；(2)针对嵌入式平台特点，采用Butterfly Transform层作为孪生网络的提取层，降低计算复杂度，实现特征提取网络的轻量化；(3)对模板图像与搜索图像提取出的特征图构建局部二分图，采用局部图注意力机制，对提取的特征进行互相关操作，得到互相关特征图；(4)采用anchor‑free的方式，对互相关特征图进行类别回归、中心点修正回归和长宽回归；(5)在COCO、YOUTUBB‑BB、DET和VID数据集上离线进行训练；(6)将训练好的网络运用于实际跟踪。

技术领域

本发明涉及一种应用于机动平台的嵌入式孪生网络实时跟踪方法，属于航空航天与计算机视觉信息处理交叉领域。

背景技术

单目标跟踪是计算机视觉中具有挑战性的研究内容之一，在过去的几十年中取得了长足的发展，并且自提出以来，视觉跟踪的流程就已经确定：对于视频序列，首先根据初始帧中目标的状态初始化跟踪器，然后提取目标特征并建立目标模型，在后续帧中使用跟踪策略如相关滤波、光流、深度学习等，基于目标模型估计目标在当前帧的状态，最后利用当前状态更新目标模型，继续下一帧的跟踪。而由于在真实目标跟踪场景中常存在多种复杂问题，比如1)目标遮挡、背景杂波、光照变化等环境变化影响；2)目标本身的快速运动、形变、旋转、尺度等目标变化影响；3)视频采集时低分辨率、相机快速运动、目标超出视野等采集设备影响，因此设计一个在真实应用环境下鲁棒且准确的跟踪算法仍然具有很高的挑战性。

相关滤波思想的引入，使得视觉目标跟踪的实时性和准确性得到了明显提高。最初的相关滤波算法使用灰度特征进行目标外观表达，使用循环矩阵提取样本，并将时域的计算转换到频域，提高了跟踪的效率。但是，灰度特征远远不能准确的表达目标，研究人员开始将颜色特征、梯度方向直方图(histogram of oriented gradients，HOG)特征、深度特征加入到目标跟踪中。

然而，人工设计的特征不能很好的表达目标的特点，一些算法开始探索使用神经网络提取目标的深度特征。依靠深度学习算法对于目标特征的强大提取能力，研究者们设计出来多种目标跟踪的深度学习网络模型，而孪生网络利用提取的深度特征进行模型间的匹配，也成为了目前目标跟踪最为主流的网络框架。但目前的孪生网络方法主要存在如下缺点：

(1)深度学习网络模型在训练时需要大量的线下训练，而且模型计算复杂度高，实时性表现差。

(2)同时由于深度网络跟踪算法通常包括模型训练和在线跟踪两个阶段，在模型训练时需要对算法进行预先的跟踪训练，而训练得到的孪生网络跟踪器进行目标在线跟踪时无法自适应更新；

(3)传统的孪生网络都通过互相关衡量模板图像和搜索图像的相似度，但是互相关的操作是全局的匹配，会从模板图像引入大量的背景信息，同时无法适应目标的形变和遮挡。

实现嵌入式平台上的机动目标跟踪，需要实现网络的轻量化，以及对目标形变和遮挡的适应能力。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种应用于机动平台的嵌入式孪生网络实时跟踪方法，采用设计的端到端的孪生网络模型，实现网络的轻量化，提高网络的自适应更新质量，减少了模板图像的噪声引入，使得跟踪器能更快更好地适应目标地形变与遮挡，完成高质量的目标跟踪。

本发明技术解决方案：本发明一种应用于机动平台的嵌入式孪生网络实时跟踪方法，包括如下步骤：