[发明专利]一种智能排序候选框的目标跟踪方法及系统

说明书

本发明涉及一种智能排序候选框的目标跟踪方法及系统，其方法包括：步骤S1：处理输入图片对，生成候选框，得到正负样本，用于训练孪生RPN网络，得到正负样本的分类得分；步骤S2：计算正负样本的权重系数；步骤S3：将加权后的正负样本用于训练孪生RPN网络，得到正负样本的加权分类得分；步骤S4：构建排序网络，生成正样本的排序得分；步骤S5：结合样本的加权分类得分和正样本的排序得分，得到加权融合得分图，挑选候选框，实现目标跟踪。本发明通过计算样本的权重系数，使得在训练孪生RPN网络过程更加关注重要的样本；同时，排序网络输出每个正样本的排序得分，结合排序得分和加权分类得分，可以选择更加准确的目候选框，以提升目标跟踪的精度。

技术领域

本发明属于模式识别、计算机视觉领域，特别涉及了一种智能排序候选框的目标跟踪方法及系统。

背景技术

随着计算机视觉的日益发展，视觉跟踪已经广泛应用于许多计算机视觉任务，例如视频监控，人机交互和无人车感知系统。然而，目标跟踪仍然存在诸多挑战。这主要由两个原因引起的。第一，广义上的目标跟踪中，跟踪的目标是类别是不确定的，且目标形状也是任意的。第二，跟踪器只能得到第一帧的目标信息(包括位置、图像外观)，后续帧中，目标会发生各种各样的形变，且可能会遭遇遮挡等外部干扰，此时跟踪器很有可能会丢失目标。

以上的部分难题可被相关滤波跟踪方法[1]部分解决，相关滤波跟踪算法在跟踪领域取得了很大的关注。然而随着研究的深入和更多困难的目标跟踪数据集的出现，传统的相关滤波算法精度达到了瓶颈。这主要是由于传统相关滤波算法利用金字塔匹配预测目标尺寸，一旦目标出现较大程度上的形变，传统的相关滤波就不能很好地预测出目标的形状，出现了预测误差，误差在经过几帧十几帧积累后，跟踪器预测的目标位置已经产生很大的偏差，进而引起跟踪失败。

另外一方面，随着卷积神经网络的日益发展和大规模的高质量目标跟踪数据集的提出，一种基于孪生网络的目标跟踪算法[2]引起了极大的关注。该方法主要是将目标跟踪任务视作相似度匹配问题，第一帧目标图像作为模板，在后续帧中，每个候选框(通常是矩形框)对应的图像区域与模板图片进行相似度匹配，相似度最高候选框被认定为当前帧的跟踪目标。大量的后续工作被提出，用于提高跟踪精度。在这些工作中，值得一提的是SiamRPN跟踪算法[3]，它借鉴了目标检测领域的region proposal network(RPN),构建两个分支，即分类分支和回归分支，分类分支判断一个候选框(又叫做锚点)的分类得分，即这个候选框选中的区域属于目标的概率。另外一个分支为回归分支，用于调整候选框，使得调整后的候选框对应的矩形框可以更准确地接近真实目标形状。由于回归分支的存在，SiamRPN可以准确地预测目标尺寸，而不需要借助金字塔匹配算法。总结来说，SiamRPN通过离线网络训练建立了一个鲁棒的目标外观模型，从原理上具备了预测目标尺寸的能力。

由于SiamRPN提供了一个很有前景的跟踪框架，它的后续工作也有很多。比如SiamRPN++[4],它在SiamRPN基础上，使用了更深的骨干网络提取特征；C-RPN[5]使用了级联的RPN模块，可以过滤置信度低的候选框。但是绝大数的SiamRPN后续方法，在跟踪过程中，都会遵循SiamRPN的跟踪规则，即选择分类得分最高的候选框，然后利用回归分支调整候选框。然而，最终选择的候选框不一定与真实目标有最大的IoU(相交比)。

综上所述，基于SiamRPN的目标跟踪算法，仅仅考虑原始候选框的分类得分，而没有考虑调整后的候选框位置信息。

[1]J.F.Henriques,R.Caseiro,P.Martins,and J.Batista,High-speedtracking with kernelized correlation filters,IEEE Transactions on PatternAnalysis and Machine Intelligence,vol.37,no.3,pp.583-596,2015.