[发明专利]一种基于深度条件随机场模型的多目标跟踪方法和系统

说明书

本发明公开了一种基于深度条件随机场模型的多目标跟踪方法，包括：获取多目标跟踪数据集，对输入视频序列的所有帧中任意两个连续帧的检测响应进行数据关联，以得到轨迹片，根据得到的轨迹片集合中任意两个轨迹片之间的时间关系生成顶点，计算顶点集合中每个顶点对应的两个轨迹片之间的匹配度，根据顶点集合中任意两个顶点之间的时间关系和位置关系确定困难顶点对集合，获取得到的困难顶点对集合中每个困难顶点对的外观特征和位置信息，将该困难顶点对的外观特征和运动特征组合成困难顶点对特征向量，将每个困难顶点对特征向量输入LSTM网络。本发明能够有效体现多目标跟踪过程中真实数据的相关性，跟踪结果的准确性高。

技术领域

本发明属于模式识别技术领域，更具体地，涉及一种基于深度条件随机场模型的多目标跟踪方法和系统。

背景技术

多目标跟踪(Multiple object tracking，简称MOT)因其学术潜力和商业价值，在计算机视觉领域备受关注。MOT的主要任务是在给定视频序列中对感兴趣目标进行运动轨迹检索、对感兴趣目标的位置进行标定、以及对各个感兴趣目标的身份(即ID)进行鉴别，感兴趣目标可以是行人、车辆、动物，甚至是一个目标的不同组成部分。

现有多目标跟踪方法大多都是基于检测的数据关联模型，即给定视频中逐步帧的目标检测响应后，将目标跟踪转化为数据关联问题，其关键技术是设计有效的度量模型，用于度量检测响应与轨迹片之间的相似度，然后根据相似度采用有效的优化策略来决定检测响应和轨迹片是否属于同一目标。然而，现有基于数据关联模型的多目标跟踪方法都是独立的关联检测响应和轨迹片，却并没有考虑到它们之间成对的依赖关系，这会损失很多可以利用的有效信息，而这些有效信息在一定程度上可以用来解决遮挡问题，并克服外观相似且时空域相近的目标身份易混淆问题。

为了解决上述问题，一种有效的办法是经典的基于CRF建模的多目标跟踪方法，其通过引入条件随机场(Conditional Random Field，简称CRF)来建模数据间的依赖关系。然而，该方法仍然存在一些不可忽略的技术问题：(1)该方法将CRF势函数建模为特定分布(例如高斯分布)，但由于多目标跟踪问题的复杂性，特定分布并不能有效地体现出真实数据的相关性，从而会降低目标跟踪结果的准确性；(2)该方法中CRF模型的参数求解困难，不但要花费大量的人力和计算能力，而且求解出的参数大部分是近似值，无法发挥出CRF模型的最优性能；(3)该方法采用启发式算法或近似迭代算法解决CRF推理问题，这些推理算法很难与神经网络相结合，因而无法形成一个端到端可训练的深度神经网络，导致无法利用深度学习强大的学习能力，根据提高数据关联模型和状态推理模型的内在联系，进一步提高数据关联模型和状态推理模型的性能。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度条件随机场模型的多目标跟踪方法和系统，其目的在于，解决现有经典的基于CRF建模的多目标跟踪方法存在的由于多目标跟踪问题的复杂性，特定分布并不能有效地体现出真实数据的相关性，从而会降低目标跟踪结果的准确性的技术问题，以及CRF模型的参数求解困难，不但要花费大量的人力和计算能力，而且无法发挥出CRF模型的最优性能的技术问题，以及其推理算法很难与神经网络相结合，因而无法形成一个端到端可训练的深度神经网络，从而无法利用深度学习强大的学习能力的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于深度条件随机场模型的多目标跟踪方法，包括以下步骤：

(1)获取多目标跟踪数据集，其包含输入视频序列、以及输入视频序列中每一帧的检测响应；

(2)对输入视频序列的所有帧中任意两个连续帧的检测响应进行数据关联，以得到轨迹片，所有的轨迹片构成轨迹片集合T；

(3)根据步骤(2)得到的轨迹片集合中任意两个轨迹片之间的时间关系生成顶点，所有的顶点构成条件随机场模型的顶点集合V；