[发明专利]一种基于多尺度特征融合的孪生网络小目标跟踪方法

权利要求书

1.一种基于多尺度特征融合的孪生网络小目标跟踪方法，其特征在于：包括以下步骤：

步骤(1)、对模板图像x和待搜索图像y两个图像分别依次进行修改尺寸和数据增广预处理，获得对应大小固定的裁剪后的训练样本对，分别输入孪生网络结构中模板分支和搜索分支；

步骤(2)、模板分支和搜索分支共享特征提取器，即使用多尺度特征融合模块来获取多尺度融合特征向量，包括从下到上提取特征和从上往下横向融合特征两个阶段；

从下到上提取特征时构建优化孪生网络结构，该优化孪生网络结构包括5个卷积层，每层的输出依次记为{C1,C2,C3,C4,C5}；

从上往下横向融合特征时先对高层特征进行上采样扩大尺寸后与较低一层的特征融合，然后迭代分别生成模板分支与待搜索分支的多尺度融合后的特征图；

步骤(3)、将步骤(2)所得模板特征图和搜索特征图输入相似度函数，进行相关交叉操作获取响应图，响应图中分值较高的位置则被认定为两幅图像目标物体最相似的位置，从而确定待搜索图像y中目标所在位置；

步骤(4)、将响应图扩大到原待搜索图像y的尺寸，然后分析响应图得到最终跟踪结果，将得分最大的位置乘以优化孪生网络结构五层卷积的总步长，即可得到当前目标在待搜索图像上的位置信息。

2.根据权利要求1所述的基于多尺度特征融合的孪生网络小目标跟踪方法，其特征在于：所述步骤(1)中对模板图像x修改尺寸的具体方法如下：

设第一帧目标框的大小为(x_min,y_min,w,h)；然后根据第一帧目标框来计算模板图像x的大小，即以需要追踪的目标为中心裁剪出一个正方形区域，计算公式如下：

s(w+2p)×s(h+2p)＝A

其中，s是指修改尺寸变换，A设定为127*127大小；通过以上操作将目标框大小扩展，然后修改尺寸变换到127*127大小以获得模板图像x；

对待搜索图像y修改尺寸的具体方法：

先根据上一帧预测的目标框的中心为裁剪中心，然后根据模板图像x裁剪出的正方形区域边长并按比例确定搜索框的边长；最后修改尺寸到255*255大小。

3.根据权利要求1所述的基于多尺度特征融合的孪生网络小目标跟踪方法，其特征在于：所述步骤(1)中数据增广的方法包括为了增加深度学习训练数据，这里我们利用四种数据增广方式：randomstretch随机拉伸，randomcrop随机裁剪，normalize标准化和totensor转化为张量；

最后修改尺寸到需要输入到网络结构中的大小。

4.根据权利要求1所述的基于多尺度特征融合的孪生网络小目标跟踪方法，其特征在于：所述步骤(2)中构建优化孪生网络结构来从下到上提取特征，优化孪生网络结构设置如下：

①、第一层为卷积层，使用11*11*96卷积核，步长为2，对图像进行卷积操作.然后使用3*3的最大池化操作和批标准化操作，输出C1；

②、第二层为卷积层，使用5*5*256，步长为1的卷积核使用两组GPU分别进行卷积操作，然后使用3*3的最大池化操作和批标准化操作来提取特征信息，输出C2；

③、第三层为卷积层，使用3*3*192的卷积核分组进行卷积操作并继续批标准化操作，输出C3；

④、第四层为卷积层，使用3*3*192的卷积核分组进行操作并继续批标准化操作，输出C4；

⑤、第五层为卷积层，仅使用3*3*128的卷积操作，最后的输出256维的高层语义特征C5。