[发明专利]基于特征压缩与特征编码网络的无人机对地目标跟踪方法

说明书

本发明公开了一种基于特征压缩与特征编码网络的无人机对地目标跟踪方法。在目标特征建模方面，该方法提出了基于注意力的特征压缩网络和特征编码网络，相较于其他跟踪方法，该方法利用时间信息弥补了由无人机对地目标分辨率低造成的空间信息不足，增加了对运动模糊、目标遮挡等极端环境的鲁棒性；在跟踪速度方面，相较于其他基于注意力的跟踪方法，该方法对特征进行压缩，降低了计算复杂度和存储空间需求，对算力有限的无人机平台更加友好。

技术领域

本发明属于人工智能在计算机视觉技术领域的运用，具体为利用特征压缩与特征编码网络对无人机拍摄的地面目标进行跟踪的方法。

背景技术

视觉目标跟踪是计算机视觉中广受研究的课题。由于无人机平台的体积小、操作简便，基于无人机平台的对地目标跟踪得到了广泛的运用，如运动目标分析、地理测量、海上救援等。尽管现有基于模板匹配的跟踪方法可以实现对运动目标的跟踪，但由于无人机平台在飞行中面临复杂多变的自然环境，相较于固定或低速运动的摄像平台具有如下问题：

问题1：因无人机拍摄的地面目标具有目标尺度小，分辨率低造成的特点，从而造成空间信息不足。然而,现有的视觉目标跟踪方法依赖于空间特征进行模板匹配，从而使其对于无人机对地跟踪的鲁棒性差；

问题2：因无人机飞行过程中会经历剧烈的姿态变化，从而带来了额外的目标形变与遮挡，相机视角变化。现有方法通过协相关运算来构建模板图像和搜索区域图像之间的相似度响应图。然而，协相关运算是一个局部运算，导致其无法聚合在空间上距离较远的特征，对上述干扰的鲁棒性低。

发明内容

本发明的目的是为了解决现有方法所存在的问题而提出的一种基于特征压缩与特征编码网络的无人机对地目标跟踪方法，该方法使用特征压缩网络对物体在时序上的不同空间特征进行压缩，从而使跟踪方法在利用时序特征进行跟踪的同时，降低了该方法对存储空间的需求和计算复杂度；该方法还利用了基于注意力的特征编码网络，更加充分的捕获模板特征、当前搜索区域特征和先前搜索区域特征之间的依赖关系,从而获得更具语义信息的搜索区域特征响应向量。

实现本发明目的的具体技术方案是：

一种基于特征压缩与特征编码网络的无人机对地目标跟踪方法，包括如下步骤：

步骤1：对于给定的模板图像，利用特征提取骨干网络进行特征提取，得到模板特征向量；具体是：将所述模板图像输入骨干网络得到模板特征向量f_z，其中H_z0,W_z0为输入模板图像高度与宽度；

步骤2：对于视频中第t帧搜索图像，利用特征提取骨干网络进行特征提取，得到第t帧搜索区域特征向量；具体是：将所述第t帧搜索图像输入骨干网络得到第t帧搜索区域特征向量其中H_x0，W_x0为搜索图像高度与宽度；

步骤3：将步骤1提取的模板特征向量输入模板特征压缩网络，得到压缩模板特征向量具体为：

首先对模板特征向量f_z在空间维度上进行展平操作，得到展平后的模板特征向量f_z1；对f_z1进行多头交叉注意力计算，其计算式为：

其中是对f_z1的位置编码，dz为模板特征向量中每个特征的维度，N_z为模板特征向量中特征的数目，为模板压缩嵌入向量，的维度为为压缩后模板特征的数目，为压缩模板特征向量，的维度为MultiHead为多头注意力机制；多头注意力机制的计算式如下：

其中Q，K，V为多头注意力机制的输入，W为学习参数矩阵，Cat(.)表示空间维度的拼接操作，H_i表示第i个注意力的计算结果，其计算如下：