[发明专利]前景信息引导型孪生卷积神经网络目标跟踪方法及装置

说明书

本发明涉及规划领域，具体涉及一种前景信息引导型孪生卷积神经网络目标跟踪方法及装置。该方法及装置采用改进后的残差网络对浅层网络进行代替，得到语义信息量更高的深度特征；采用采样策略来提高正样本对中的挑战因素；将模板图像、搜索区域图像和填充图像分别输入到模板分支、搜索区域分支和引导分支中提取特征，并在各分支输出的特征张量间进行深度互相关计算，在计算中对前景信息运用填充损失计算方式来改进损失函数；在改进后损失函数的基础上引用填充损失，并引导网络模型完成训练。该方法及装置至少解决了现有目标跟踪方法抗干扰因素弱的技术问题。

技术领域

本发明涉及目标跟踪技术领域，具体而言，涉及一种前景信息引导型孪生卷积神经网络目标跟踪方法及装置。

背景技术

作为计算机视觉领域最重要的研究方向之一，目标跟踪一直都受到学者们的广泛关注。通过给定图像中任意一个物体的边界框信息，目标跟踪方法的目的就是在后续图像中对其进行精确定位。虽然目标跟踪方法在近些年已经得到了极大地提升，并被广泛应用于许多先进领域当中。但是由于复杂场景下遮挡、光照变化和相似背景干扰等因素的影响，目标跟踪任务仍然充满了挑战。

近几年，基于孪生卷积神经网络的目标跟踪方法以其均衡的准确性、鲁棒性和实时性获得了较多的关注。该类方法通过学习一个精确、鲁棒的相似度量函数，实现深度特征之间的精确匹配，从而精准、有效地定位目标。其中，Bertinetto等人提出的SiamFC跟踪方法尤为引人注目。其首次利用全卷积网络来提取模板和搜索区域的深度特征，并将输出的深度特征运用交叉相关计算一次性得到匹配后的响应图。该方法不仅在跟踪性能上表现优异，在运行速度上也完美达到了实时性的要求。之后，许多学者都以此方法为基础进行改进和创新。Valmadre等人在方法中引入相关滤波器，并在SiamFC中的相似性度量计算中引入一个可微分层。Guo等人在方法中引入了模板更新机制，通过学习背景及目标外观的变化对模板特征进行更新，从而提高方法的鲁棒性和准确性。Li等人在方法中引入了目标检测方法中常用的RPN(Region Proposal Network)模型，不仅能够有效应对目标的多尺度变化，还极大提高了方法的精度和鲁棒性。Zhu等人在Li等人的研究基础上引入干扰感知模块，并对训练用的样本集进行有效扩充，成功提升了算法在复杂场景下的鲁棒性。在之前的研究基础上，Li等人成功将深层网络架构引入到方法中，不仅超越了之前的大部分方法，还打破了浅层网络架构的限制，开辟了新的研究趋势。

虽然上述的跟踪方法在跟踪性能方面已经取得极大的进步，但基于孪生卷积神经网络的目标跟踪方法仍有一些没有改进的缺陷。首先，在离线训练阶段，网络训练采用的正样本对包含的挑战因素(遮挡、形变等)不够丰富。大多数基于孪生卷积神经网络的目标跟踪方法会采用包含丰富类别和训练数据的数据集进行训练，如ILSVRC-2015的VID数据集。然而，这些具有有限类别的数据集并不足以提供充足的正样本对，从而难以训练一个具有高质量和强鲁棒性的网络模型。即使DaSiamRPN方法通过引入其它大规模的训练数据集来扩充正样本对的数量，但由于一些干扰因素(遮挡、形变等)具有长尾分布，扩充数量的正样本对依然无法包含足够丰富的干扰因素来提高方法的鲁棒性。其次，当背景较为复杂时，基于孪生卷积神经网络的目标跟踪方法无法保持稳定的跟踪性能。大多数基于孪生卷积神经网络的目标跟踪方法，能够从一些简单的非语义背景中对跟踪目标进行定位。然而，当跟踪过程中遇到一些复杂场景时，被认为是主要干扰源的语义背景才是影响跟踪性能的关键因素。当背景较为复杂时，跟踪框会逐渐漂移到背景中的干扰源上，从而造成跟踪不稳定甚至是跟踪失败。

发明内容

本发明实施例提供了一种前景信息引导型孪生卷积神经网络目标跟踪方法及装置，以至少解决现有目标跟踪方法抗干扰因素弱的技术问题。

根据本发明的一实施例，提供了一种前景信息引导型孪生卷积神经网络目标跟踪方法，包括以下步骤：

采用改进后的残差网络对浅层网络进行代替，得到语义信息量更高的深度特征；

采用采样策略来提高正样本对中的挑战因素；