[发明专利]多视图目标跟踪方法、装置、系统、电子终端、及存储介质

说明书

本申请提供多视图目标跟踪方法、装置、系统、电子终端、及存储介质，所述方法包括：根据被跟踪目标在历史帧图像中的位置信息和边界框信息，提取当前帧图像的特征图像；对特征图像进行滤波处理以获取相应的得分图；根据得分图判断当前帧图像是否存在遮挡；其中，在判断所述当前帧图像不存在遮挡的情况下，利用网格搜索法和多尺寸搜索法确定所述被跟踪目标在当前帧图像中的位置信息；在判断所述连续特征图像存在遮挡的情况下，基于轨迹预测网络预测被跟踪目标在当前帧图像中的位置信息。申请建立端对端的特征提取网络，提取图像特征，训练相关滤波器，并利用轨迹预测网络解决图像遮挡问题，形成适用于单对象目标的反遮挡的稳健型目标跟踪解决方案。

技术领域

本申请涉及计算机视觉、目标跟踪领域，特别是涉及多视图目标跟踪方法、装置、系统、电子终端、及存储介质。

背景技术

一般的视觉对象跟踪是大规模计算机视觉任务中的基本问题之一，在这个问题集中，跟踪器用一个边界框跟踪对象，该边界框在初始帧中给出，并在接下来的连续帧中使用。视觉对象跟踪在各种应用场景中起着重要作用，例如自动驾驶系统，光场相机阵列监控、以及体育赛事中的运动员跟踪。而跟踪的关键挑战是如何在遮挡、光照变化、变形、运动模糊等不同情况下准确有效地定位目标。

根据跟踪器和目标的数量，跟踪任务通常分为四类，即单视图单对象跟踪(Single-view Single-object，SVSO)、多视图单对象跟踪(Multi-view Single-object，MVSO)、单视图多对象跟踪(Single-view Multi-object，SVMO)和多视图多对象跟踪(Multi-view Multi-object，MVMO)。

单视图跟踪通常有一个直观的管道，但容易受到遮挡的影响。大多数现有的多对象跟踪器通常只跟踪一类特定的对象，比如行人、车辆，这些对象还没有扩展到通用对象，没法实现反遮挡的稳健的对象跟踪。

申请内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供多视图目标跟踪方法、装置、系统、电子终端、及存储介质，用于解决现有技术中的问题。

为实现上述目的及其他相关目的，本申请的第一方面提供一种多视图目标跟踪方法，其包括：根据被跟踪目标在历史帧图像中的位置信息和边界框信息，提取当前帧图像的特征图像；对所述特征图像进行滤波处理以获取相应的得分图；根据所述得分图判断当前帧图像是否存在遮挡；其中，在判断所述当前帧图像不存在遮挡的情况下，利用网格搜索法和多尺寸搜索法确定所述被跟踪目标在当前帧图像中的位置信息；在判断所述连续特征图像存在遮挡的情况下，基于轨迹预测网络预测所述被跟踪目标在当前帧图像中的位置信息。

于本申请的第一方面的一些实施例中，所述根据被跟踪目标在历史帧图像中的位置信息和边界框信息，提取当前帧图像的特征图像，其步骤包括：根据被跟踪目标在上一帧图像中的位置信息和边界框信息，对当前帧图像基于多种裁剪尺寸进行裁剪，并利用FHOG描述子和深度网络生成不同分辨率的离散的特征图像；利用插值模型将所述离散的特征图像映射至连续空间，以获得经插值模型统一和变换后的连续的特征图像。

于本申请的第一方面的一些实施例中，所述得分图通过利用卷积分解算子在所述当前帧图像的特征图像上进行滤波所获得；所述得分图的最大值用于判断当前帧图像是否存在遮挡；在判断所述当前帧图像不存在遮挡的情况下，将当前帧图像加入用于训练所述相关滤波器的训练样本集。

于本申请的第一方面的一些实施例中，所述方法包括：通过建立训练样本图像与目标图像之间的最小化目标函数来训练所述相关滤波器。

于本申请的第一方面的一些实施例中，所述方法包括：从所述训练样本集中选取多对训练对，以形成用于训练所述相关滤波器的第一训练对集合和第二训练对集合，其步骤包括：利用所述第一训练对集合并根据目标函数训练所述相关滤波器；利用所述第二训练对集合并根据通过高斯-牛顿迭代法和共轭梯度法优化后的所述目标函数训练所述相关滤波器。