[发明专利]基于Swin Transformer的无人机目标跟踪方法

说明书

基于Swin Transformer的无人机跟踪目标方法，本发明涉及无人机自动驾驶过程中，现有的目标追踪算法对目标追踪效果不好的问题。传统的目标追踪算法存在着目标丢失再检测无法算作同一单位，目标遮挡无法识别，数据整体时序性能利用不强等问题；为解决上述问题，本发明提出了基于Swin Transformer的无人机目标追方法；该方法将语音领域的算法应用到目标追踪算法上，首先利用Swin Transformer将数据进行特征的提取，将图像特征进行两两拼接，之后使用改进的Transformer进行目标追踪算法特征的增强，之后在自注意力模块中输入上述两两拼接的特征，增强帧与帧之间的特征学习；经过充分的实验验证得知，该方法在无人机目标追踪上取得了很好的效果。本发明应用于无人机自动驾驶的目标追踪领域。

技术领域

本发明涉及无人机自动驾驶技术中的目标追踪。

背景技术

进入二十一世纪,由于无人机具有不需要人员驾驶等突出优点,被广泛地应用在军事和民用的多个领域，实践证明,无人机是一种很好的空中作业平台，因而越来越为人们所关注，无人机自动驾驶过程中目标追踪方法的准确性直接影响到无人机驾驶控制的准确性。在目标追踪的过程中出现的目标被遮挡，相似目标干扰等因素极易造成无人机驾驶控制不精确的问题，从而引发事故，甚至对无人机造成毁灭性的破坏。所以，对目标追踪准确性进行提高可以大幅度的提高无人机自动驾驶系统的准确性。但是由于无人机机载重量有限，且无人机功率限制机载计算设备的计算性能，同时在无人机运行过程中，不同的天气对无人机检测摄像头所采集的图像具有很大的影响，无人机的抖动会造成图像的模糊，周围复杂的环境同样也会对目标造成遮挡等影响。现在急需一款轻量级且鲁棒性高的目标追踪方法来满足行业需求。

无人机自动驾驶使用的目标追踪方法必须要具备轻量级以及鲁棒性高等特点，且能够长时间运行，这是针对无人机自动驾驶目标追踪长期以来的研究方向。现有的主流目标追踪研究主要是基于LaSOT、GOT-10K等大型数据集进行研究，然而在实际工作环境中，外界的光照条件和图像的呈现是在不断的变化的，无人机在高速运动的情况下造成的图像模糊，物体被遮挡物遮挡等情况均在数据集中体现。总体而言数据集难度较高，国内外现有的方法无法解决上述问题。

针对上述问题，提出一种基于Swin Transformer的无人机目标追踪方法，如图1所示：该方法使用Swin Transformer对检测数据的模板帧和搜索帧进行特征提取；之后将特征图进行两两拼接，利用经过改进的Transformer进行特征增强；最后，使用经过改进的IoU-Aware等操作得到结果；改进的Transformer网络为TMC-Transformer，TMC-Transformer是针对Transformer在目标追踪领域的缺陷而改进的方法，该方法增强了算法整体的准确性，通过大量学习来确定目标的特征来实现在视频流中追踪目标，经过大量的实验验证，本发明所提出的方法在经过筛选的LaSOT和GOT-10K等数据集上均取得了最好的结果，准确率分别为80.7%和65.4%。

发明内容

本发明的目的是为了解决现有的智能检测方法无法实现无人机对所拍摄的目标进行有效追踪的问题，而提出的基于Swin Transformer的无人机目标追踪方法。

上述发明目的主要是通过以下技术方案实现的：

基于Swin Transformer的无人机目标追踪方法，其特征在于首先对无人机拍摄到的视频图像进行特征提取，生成拍摄视频图像的特征续流，然后使用神经网络进行目标追踪；所述方法包含以下步骤：

S1、搭建基于Swin Transformer的特征提取网络

利用Swin Transformer进行特征提取，该算法分别进行了4倍，8倍和16倍的下采样，算法分为4个Stage，每个Stage包含两个部分，分别是Patch Merging (第一个块是线性层) 和Swin Transformer模块，每个Swin Transformer模块中将多头自注意力替换为窗口多头自注意力和移动窗口多头自注意力，之后将特征进行两两拼接传递到下一步骤。