[发明专利]基于孪生网络的单目标跟踪方法

说明书

本发明公开了基于孪生网络的单目标跟踪方法，涉及计算机视觉技术领域，包括S1获取训练样本，S2建立跟踪孪生网络和三个模板增强模块，S3训练样本导入跟踪孪生网络，S4对三个模板增强模块进行优化训练，S5优化后的三个模板增强模块分别加入到跟踪孪生网络的模板分支，S6、将需要跟踪的视频帧导入目标跟踪模型进行跟踪；进行模板更新的方法，在跟踪中可对模板进行加强，模板更能描绘目标的全貌，因此在数据集中极大的提升了效果；其次，在训练的过程中，采用序列训练对模板增强模块进行训练中，不同层的模板的变化信息得到了更好的融合，也就是本发明相较与其他基于ResNet50的算法相比，本发明利用了不同层的层次信息使得模块更能捕捉目标变化的信息。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于孪生网络的单目标跟踪方法。

背景技术

目标跟踪是具有多种应用的计算机视觉领域的一项基本且热门的研究任务。目标跟踪任务是指给定第一帧目标位置，在后续视频帧中找到目标位置。

目标跟踪具有非常广泛的应用涉及各种领域。例如安全军工，无人驾驶，人机交互等领域。在智能交通方面，目标跟踪发挥了很大的作用，由于经济发展，如今道路众多，车辆的数量更是巨大，单靠人力来实现交通的监控与管理会有些吃力，因而智能交通系统应运而生，通过在主要道路架设摄像头，结合车辆检测和车辆的目标跟踪技术，智能交通系统可以监测和分析判断车辆行为，并输出语义信息，进而提高效率。在体育转播方面，目标跟踪计算可以帮助导播人员定位球员位置，在无人驾驶方面，无人车需要感知当前道路环境，目标跟踪技术可以帮助无人车了解周边环境，预测以后时刻目标的位置，以达到安全驾驶的目地。在人机交互方面目标跟踪可以通过跟踪手势更好地进行人机交互。目标跟踪不仅应用广泛，单目标跟踪还为其他计算机视觉领域例如跨摄像头跟踪，行为理解提供基础，处于计算机视觉的底层领域，因此研究意义重大。尽管近年来取得了很大进展，但由于光照变化、快速运动、遮挡等众多因素，视觉跟踪仍然是一项非常具有挑战性的任务。因此研究一种新的目标跟踪算法，能在各种复杂场景下例如目标巨大形变或被遮挡准确地跟踪目标位置，并在公开各种数据集中取得高的正确率并保持一定的鲁棒性，具有十分重要的研究意义和实际应用价值。

目前主流的单目标跟踪方法分为两类，一类是基于传统滤波的目标跟踪算法，另一类是基于孪生网络的单目标跟踪算法。由于深度神经网络的快速发展，孪生网络由于它的正确性和不输传统滤波的速度，目前更为流行。

但是基于孪生网络的算法普遍存在一个问题，孪生网络通常使用第一帧的模板来计算相关，从而得到有关目标位置的得分图。但是目标在跟踪视频序列中可能会发生形变，或者发生遮挡，光照变化的问题。因此在长时间的跟踪只使用第一帧会影响正确率。

因此为了解决这个问题，CFNet提出了用线性加权历史模板的方法，DiMP提出了一个在线学习模板的学习器来解决。但是这类方法都有两个弊端，第一个是弊端是线性加权并不能很好的合成一个合适的模板，第二个弊端是例如DiMP这类在线学习的目标跟踪算法只会在特定间隔学习，而且会使用预测的模板来进行训练可能会有累计错误的风险。

发明内容

本发明的目的就在于为了解决上述问题设计了一种基于孪生网络的单目标跟踪方法。

本发明通过以下技术方案来实现上述目的：

基于孪生网络的单目标跟踪方法，包括：

S1、获取训练样本；

S2、基于resnet-50网络建立跟踪孪生网络和三个模板增强模块，三个模板增强模板均为权重共享网络，跟踪孪生网络包括模板分支和搜索分支，模板分支和搜索分支为两个完全相同的resnet-50网络，三个模板增强模块分别用于加强模板分支的第三层、第四层和第五层提取到的特征；

S3、训练样本导入跟踪孪生网络获得第三层、第四层和第五层的模板，模板包括初始模板、累计模板和当前帧模板；