[发明专利]基于Swin Transformer的无人机目标跟踪方法

权利要求书

1.基于Swin Transformer的无人机目标追踪方法，如图1所示：该方法使用SwinTransformer对检测数据的模板帧和搜索帧进行特征提取；之后得到两两图片的拼接特征图，然后利用经过改进的Transformer进行特征增强；最后，使用经过改进的IoU-Aware等对图像进行操作，得到结果；改进的Transformer网络为TMC-Transformer (TM-Mac-Conv-Transformer)，TMC-Transformer是针对Transformer在目标追踪领域的缺陷而改进的算法，该算法首先将Transformer的前馈神经网络层分为上下两部分，每部分为原来的一半，之后将提出的时序增强自注意力加入两层前馈神经网络之间，最后在前半层前馈神经网络和时序增强自注意力之间加入卷积模块增强局部特征的提取，该算法增强了算法整体的准确性，通过大量学习来确定目标的特征来实现在视频流中追踪目标；所述方法包含以下步骤：

S1、搭建基于Swin Transformer的特征提取网络；

S2、将传统的Transformer改进为马卡龙格式，并加入卷积模块；

S3、修改自注意力机制加入相邻帧特征拼接；

S4、基于IoU-Aware的预测头部；

S5、制作数据集以及数据集增强；

S6、训练模型，实现对目标的追踪。

2.如权利要求1所述的基于Swin Transformer的无人机目标追踪方法，其特征在于，步骤S2中所述的将传统的Transformer改进为马卡龙格式，并加入卷积模块的原理如下：

该算法通过Transformer进行特征增强, Transformer本身应用于语音识别处理方向的神经网络，应用于目标追踪网络中主要用于增强特征同时突出时序关系，在传统的Transformer的基础上，我们将前馈神经网络分为两层放置在多头自注意力前后，同时在前一层前馈神经网络多头自注意力之间加入卷积模块层，卷积模块层首先对输入进行归一化处理，之后通过一个1*1的卷积层，然后通过Transformer中的门控线性单元以加强上下文的图像特征，之后通过深度可分离卷积进一步的减少参数量，然后继续通过归一化处理以及Dropout等操作得到输出。

3.如权利要求1所述的基于Swin Transformer的无人机目标追踪方法，其特征在于，步骤S3中所述的修改自注意力机制加入相邻帧特征拼接的原理如下：

将注意力机制中的输入从每一帧变为相邻两个半帧之间的结合，这两个半帧分别是前一时刻的后半帧和后一时刻的前半帧，每一个注意力子模块都会同时计算出相邻两帧的计算参数，之后通过Softmax等操作之后得到的注意力输出就会包含增强后的相邻帧的时序关系。