[发明专利]前景信息引导型孪生卷积神经网络目标跟踪方法及装置

权利要求书

1.一种前景信息引导型孪生卷积神经网络目标跟踪方法，其特征在于，包括以下步骤：

采用改进后的残差网络对浅层网络进行代替，得到语义信息量更高的深度特征；

采用采样策略来提高正样本对中的挑战因素；

将模板图像、搜索区域图像和填充图像分别输入到模板分支、搜索区域分支和引导分支中提取特征，并在各分支输出的特征张量间进行深度互相关计算，在计算中对前景信息运用填充损失计算方式来改进损失函数；

在改进后损失函数的基础上引用填充损失，并引导网络模型完成训练。

2.根据权利要求1所述的前景信息引导型孪生卷积神经网络目标跟踪方法，其特征在于，所述方法还包括步骤：

在跟踪阶段，将模板图像和搜索区域图像分别输入到模板分支与搜索区域分支中提取特征；

利用两个分支输出的特征张量进行交叉相关计算，从而获得最终的响应图；

在得到的响应图中寻找最大峰值，并映射到搜索区域图像中确定目标的精确位置。

3.根据权利要求1所述的前景信息引导型孪生卷积神经网络目标跟踪方法，其特征在于，所述采用改进后的残差网络对浅层网络进行代替包括：

改进后的网络，将残差网络中最后的两个卷积块的步长改为1，并在网络最后加入卷积核尺寸为1×1的卷积层以减少输出的维度。

4.根据权利要求1所述的前景信息引导型孪生卷积神经网络目标跟踪方法，其特征在于，所述采用采样策略来提高正样本对中的挑战因素包括：

采样策略利用人工设计的遮挡掩膜来增加正样本对在遮挡干扰下的数量；

采样策略采用旋转和错切映射组合的随机仿射变换来模拟目标的形变。

5.根据权利要求4所述的前景信息引导型孪生卷积神经网络目标跟踪方法，其特征在于，所述采样策略利用人工设计的遮挡掩膜来增加正样本对在遮挡干扰下的数量包括：

在网络模型的离线训练阶段，采样策略将正样本对中的模板图像视为需要扩充的对象；根据模板图像中的目标信息得到目标的实际大小W×H；在得到目标大小后，根据该信息生成预先设计好方向的遮挡掩膜，并将掩膜的尺寸固定为W/2×H/2；同时每种遮挡掩膜都将其覆盖的图像像素进行去除，以此来模拟跟踪过程中的遮挡干扰并提高在应对遮挡时的鲁棒性。

6.根据权利要求4所述的前景信息引导型孪生卷积神经网络目标跟踪方法，其特征在于，所述采样策略采用旋转和错切映射组合的随机仿射变换来模拟目标的形变包括：

当给定模板图像后，采样策略将模板图像进行范围在θ＝±30°角度内的旋转；同时模板图像会被进行X和Y方向上的错切映射，两个方向上的映射角度范围分别为φ＝±25°和ψ＝±25°；上述的两种变换进行随机的组合，从而构成采样策略中采用的随机仿射变换。

7.根据权利要求1所述的前景信息引导型孪生卷积神经网络目标跟踪方法，其特征在于，所述在计算中对前景信息运用填充损失计算方式来改进损失函数包括：

对前景信息进行充分利用并运用填充损失计算方式来改进方法的损失函数，其中引导分支的输入为尺寸是255×255×3的填充图像；该填充图像是采用整张图像的均值进行背景填充得到的，填充方式为：

式中，a和b代表图像中第a行和第b列，fg代表前景信息，bg代表背景信息；并且引导分支中用于特征提取的网络模型与目标模板分支和搜索区域分支中的模型相同，都采用改进的ResNet-18网络作为特征提取网络；

当给定模板图像、搜索区域图像和填充图像后，将各个图像输入到对应的分支中提取卷积特征；接着在各分支输出的特征张量间进行深度互相关计算；其中目标模板分支与搜索区域分支间的深度互相关结果设为S，目标模板分支与引导分支间的深度互相关结果为S′。