[发明专利]一种基于半监督孪生网络的红外弱小目标跟踪方法

权利要求书

1.一种基于半监督孪生网络的红外弱小目标跟踪方法，其特征在于，步骤如下：

步骤S1，采集一段包含跟踪目标的红外视频序列，以第一帧图像中目标所在位置为中心获取目标图像，转入步骤S2；

步骤S2，根据上一帧图像中目标所在位置获取当前帧中的搜寻区域图像，将搜寻区域图像输入构建的滤波网络中进行编解码操作，得到响应权值图，利用响应权值图对搜寻区域图像进行激活，即将搜寻区域图像与响应权值图进行点乘操作，得到滤波图像，转入步骤S3；

步骤S3，利用孪生网络对目标图像和滤波图像进行计算，得到目标位置响应图，在孪生网络和滤波网络的训练过程中，利用目标的真实位置作为监督信息对孪生网络进行训练，利用孪生网络输出的目标位置响应图作为监督信息对滤波网络进行训练，目标位置响应图中响应值最大的点即目标在当前帧中的准确位置，返回步骤S2，对红外视频中后续所有帧进行跟踪。

2.根据权利要求1所述的基于半监督孪生网络的红外弱小目标跟踪方法，其特征在于：步骤S2中，根据上一帧图像中目标所在位置获取当前帧中的搜寻区域图像，将搜寻区域图像输入构建的滤波网络中进行编解码操作，得到响应权值图，利用响应权值图对搜寻区域图像进行激活得到滤波图像，具体如下：

首先构建三层卷积层对搜寻区域图像进行下采样，并且使用残差单元对前两个卷积层的输出进行特征提取得到残差特征，对经过两次下采样的特征输入残差单元进行计算，然后进行线性插值并与对应尺寸的残差特征相加，上采样后与对应尺寸的残差特征相加，最终得到和搜寻区域图像尺寸一致的响应权值图，利用响应权值图对搜寻区域图像进行激活得到滤波图像。

3.根据权利要求2所述的基于半监督孪生网络的红外弱小目标跟踪方法，其特征在于：孪生网络包括特征提取网络、自注意力计算层、交叉注意力计算层和注意力融合层。

4.根据权利要求3所述的基于半监督孪生网络的红外弱小目标跟踪方法，其特征在于：步骤S3中，使用孪生网络对目标图像和滤波图像进行计算，得到目标位置响应图，目标位置响应图中响应值最大的点即目标在当前帧中的准确位置，具体如下：

步骤S3-1，使用特征提取网络提取目标图像中目标的形状信息、语义信息以及背景信息，得到初始目标特征，使用特征提取网络提取滤波图像中目标的形状信息、语义信息以及背景信息，得到初始搜寻区域特征，转入步骤S3-2；

步骤S3-2，利用自注意力计算层和交叉注意力计算层对初始目标特征进行计算得到初始目标特征的自注意力和交叉注意力，再利用自注意力计算层和交叉注意力计算层对初始搜寻区域特征进行计算得到初始搜寻区域特征的自注意力和交叉注意力，使用注意力融合层对相应特征的自注意力和交叉注意力进行融合，得到最终目标特征和最终搜寻区域特征，转入步骤S3-3；

步骤S3-3，对最终目标特征和最终搜寻区域特征进行相关性计算，得到目标位置响应图，目标位置响应图中响应值最大的点即目标在当前帧中的准确位置。

5.根据权利要求4所述的基于半监督孪生网络的红外弱小目标跟踪方法，其特征在于，步骤S3-2中，利用自注意力计算层和交叉注意力计算层对初始目标特征进行计算得到初始目标特征的自注意力和交叉注意力，再利用自注意力计算层和交叉注意力计算层对初始搜寻区域特征进行计算得到初始搜寻区域特征的自注意力和交叉注意力，使用注意力融合层对相应特征的自注意力和交叉注意力进行融合，得到最终目标特征和最终搜寻区域特征，具体步骤如下：

使用自注意力计算层对初始目标特征和初始搜寻区域特征分别计算各自的自注意力，自注意力计算公式为：

x代表输入特征，y代表输出特征，i和j代表位置索引，C、f、g表示抽象函数；使用交叉注意力计算层对初始目标特征和初始搜寻区域特征分别计算初始目标特征交叉注意力和初始搜寻区域特征交叉注意力，交叉注意力的计算公式为：

a代表输入主特征，b代表输入次特征，z代表输出特征，h表示抽象函数；使用注意力融合层对初始目标特征的自注意力和交叉注意力进行融合得到最终目标特征，对初始搜寻区域特征的自注意力和交叉注意力进行融合得到最终搜寻区域特征。