[发明专利]基于注意力机制与孪生网络的目标跟踪方法及相关设备

说明书

本发明提供了一种基于注意力机制与孪生网络的目标跟踪方法及相关设备，通过将目标模板和搜索区域输入至预设的目标跟踪模型，通过预设的目标跟踪模型输出目标模板在所述搜索区域中的目标跟踪信息；所述目标跟踪模型中包含孪生网络，并且孪生网络中增加设置通道注意力模块和/或空间注意力模块。本实施例提供的目标跟踪方法及相关设备，由于在残差网络中加入通道注意力模块和/或空间注意力模块，显著提高了孪生跟踪算法的平均期望重叠率和鲁棒性，改善跟踪中的运动变化、相机运动、遮挡、尺寸变化属性的鲁棒性，因此使用本实施例提供的目标跟踪方法进行目标跟踪预测时，可以获取到较准确的结果。

技术领域

本发明涉及终端显示控制技术领域，尤其涉及的是一种基于注意力机制与孪生网络的目标跟踪方法及相关设备。

背景技术

目标跟踪一直以来都是计算机视觉领域研究的热点，其应用于人机交互、智能视频监控和交通检测等方面。而单目标跟踪是给出跟踪视频第一帧中目标的边界框，然后预测目标在后续帧中的边界框。目前基于深度学习的目标跟踪方法为判别式方法，其开始领先于生成式方法。而基于孪生网络的目标跟踪算法是通过端到端来训练模型，通过将目标跟踪表示为交叉相关问题。目前基于孪生网络的目标跟踪算法有较高的平均期望重叠率和准确率，同时可以实现实时的目标跟踪。

基于孪生网络的目标跟踪算法虽然已经有较高的平均期望重叠率和准确率，但是即使是最先进的跟踪算法SiamRPN++，其鲁棒性依然比VOT2018的冠军MFT差很多。目前的基于孪生网络的目标跟踪在遮挡、尺寸变化、运动变化、相机运动这4类属性上鲁棒性低。

因此，现有技术有待于进一步的改进。

发明内容

鉴于上述现有技术中的不足之处，本发明的目的在于为用户提供一种基于注意力机制与孪生网络的目标跟踪方法及相关设备，克服现有技术中跟踪算法在多个类属性上鲁棒性低，导致目标跟踪结果的准确度不稳定的缺陷。

本发明解决技术问题所采用的技术方案如下：

第一方面，本实施例公开了一种基于注意力机制与孪生网络的目标跟踪方法，其中，包括步骤：

获取目标模板和搜索区域；

将所述目标模板和搜索区域分别输入至预设的目标跟踪模型，通过预设的目标跟踪模型输出目标模板在所述搜索区域中的目标跟踪信息；其中，所述目标跟踪模型中包含孪生网络，并且孪生网络中的残差学习单元中设置有通道注意力模块和/或空间注意力模块。

可选的，所述残差学习单元中还设置有残差模块；所述孪生网络还包括区域提议网络单元；

将所述目标模板和搜索区域分别输入至预设的目标跟踪模型，通过预设的目标跟踪模型输出目标模板在所述搜索区域中的目标跟踪信息的步骤包括：

将所述目标模板和搜索区域分别输入至孪生网络两个分支的所述残差模块，通过所述残差模块提取与所述目标模板对应的目标模板特征和与所述搜索区域对应的搜索区域特征；

将所述目标模板特征和搜索区域特征对应输入其所在孪生网络分支的所述通道注意力模块和/或空间注意力模块，通过所述通道注意力模块提取与所述目标模板特征和搜索区域特征对应的通道注意力特征图，和/或通过空间注意力模块提取与所述目标模板特征和搜索区域特征对应的空间注意力特征图；

将所述通道注意力特征图和/或空间注意力特征图输入到所述区域提议网络单元，通过所述区域提议网络单元得到所述目标模板在所述搜索区域中的目标跟踪信息。

可选的，所述通道注意力模块包括压缩子单元和激励子单元；

将所述目标模板和搜索区域对应输入其所在孪生网络分支的所述通道注意力模块和/或空间注意力模块，通过所述通道注意力模块提取与所述目标模板特征和搜索区域特征对应的通道注意力特征图的步骤包括：