[发明专利]视频目标的数据关联方法、装置及存储介质

说明书

一种视频目标的数据关联方法、装置及存储介质。其中，该视频目标的数据关联方法包括：获取分别目标对象的第一图像特征和观测对象的第二图像特征；对所述第一图像特征和所述第二图像特征进行N种特征类别的特征相似度计算；基于粗糙集的特征相似度对N组特征相似度结果进行筛选，并将筛选后的结果进行融合，得到特征融合结果；基于最大熵直觉模糊聚类，根据所述特征融合结果进行关联代价矩阵计算，得到关联代价矩阵计算结果；根据所述关联代价矩阵计算结果判断所述目标对象与所述观测对象是否关联；若否，则对所述目标对象进行目标轨迹管理，统计视频中目标对象的新起轨迹和终结轨迹，得到所述终结轨迹集以及所述新轨迹集；根据所述终结轨迹集以及所述新轨迹集进行模糊轨迹关联。

技术领域

本申请涉及电子技术领域，尤其涉及一种视频目标的数据关联方法、装置及存储介质。

背景技术

视频多目标跟踪是机器视觉的重要研究内容之一，主要获取视频中运动目标的位置、姿态、轨迹等基本运动信息。随着数字计算技术的发展，视频多目标跟踪已经打开多个研究领域及应用领域，涉及到智能视频监控、虚拟现实、人机交互、自动驾驶、交通管制、海洋学、智能机器人、遥控传感、生物医学等领域，吸引了越来越多的学者和研究人员的积极参与，取得了大量的研究成果。但在复杂背景和目标密集遮挡的环境下，多目标跟踪过程中存在很多不确定不完备的信息，如行人的形变、光照变化、虚假观测、目标之间的相互遮挡等，导致难以用传统的概率统计方法准确描述目标与观测的关系。

目前，由于检测技术的发展，基于目标检测的视频目标跟踪算法得到了快速的发展和广泛的应用。这类方法根据检测的目标的位置、大小，标签、特征等估计目标的当前状态，不需要人工标记，并且在跟踪过程中可根据检测结果实时更新目标的状态。近年来，随着深度学习方法在视频目标检测上的应用，目标检测技术不断进步，视频多目标检测技术已经非常成熟，即使在杂波环境下，仍可获得较准确的检测结果，数据关联的准确性成为影响跟踪发正确性的主要因素，所以基于检测的多目标数据关联方法得到了广泛的研究。

基于检测的多目标跟踪方法的关键问题是检测器接收的在线检测结果和已有目标之间的数据关联。为解决数据关联问题，近三十年来，国内外的学者和研究人员提出了很多类型的数据关联方法。根据数据关联方式不同，大多数跟踪算法可以分为以下两类：生成式方法和判别式方法。基于生成式方法下的跟踪算法利用目标的外观、运动等多个特征构建目标模型，在跟踪过程中考虑目标与观测之间的相似性进行跟踪关联。Ross等人通过逐步学习目标的低维子空间特征表示，可以有效适应目标外观的变化，Babu等人提出根据目标可靠的特征点进行跟踪，Azab等人利用模糊积分融合多个特征在粒子滤波框架中进行跟踪，Zhang等人利用基于粒子滤波器的稀疏表示目标模型，选择与目标模型重建误差最小的候选模板关联，Zhang和Liu等人利用双层卷积神经网络训练鲁棒的特征进行关联。但基于生成式的关联方法，它们有时不能很好地将目标和背景区分开，因为在目标的边界框内的背景像素和其他目标像素不可避免地被认为是目标的一部分，从而使目标外观模型存在不准确信息，使其无法正确区分对象和背景，导致跟踪可能失败。判别式方法旨在更好地将目标从背景中分离出来，如Jang等人提出融合粒子滤波观测模型的误差最小的投影网络模型，Mei等人提出利用最小二乘法和贝叶斯状态估计对目标和观测关联。但判别方法不能适应目标的外观变化，故Babenko等人提出使用多实例学习训练目标模型，Kalal等人提出基于光流和动态外观模型的监督编码规则，Tuzel等人解决多个目标的遮挡跟踪问题，并将其作为二元模式分类问题，Wu等人提出了一个区域深度学习跟踪器，通过多个子区域观察目标，并通过深度学习模型观察每个区域，与大多数仅利用二维彩色或灰色图像来在线学习被跟踪对象的外观模型的现有跟踪器相比，取得了更好的效果。另外，基于相关滤波器的方法和基于深度学习的方法已经取得了优异的表现并引起了更多的关注。