[发明专利]一种基于多个摄像头融合的目标物跟踪方法和系统

说明书

本发明公开了一种基于多个摄像头融合的目标物跟踪方法，其包括步骤：100：从若干摄像头拍摄的图像中实时提取需要跟踪的目标物信息；200：采用经过训练的深度残差编码器对输入其中的目标物检测框内的图像进行识别；300：存储目标物检测框在图像中的位置信息、目标物类别、目标物ID、目标物外观特征编码及其对应的时间戳，并将其作为对应的历史数据；400：目标物检测框在图像中的历史位置信息，对目标物检测框在图像中的当前位置进行预测；500：基于设定的第一阈值筛选出小于第一阈值的候选目标物；600：基于设定的第二阈值筛选出小于第二阈值的候选匹配目标物；700：采用匈牙利算法从候选匹配目标物中为当前检测的当前目标物进行匹配指派，以实现跟踪。

技术领域

本发明涉及一种目标物跟踪方法和系统，尤其涉及一种基于摄像头的目标物跟踪方法和系统。

背景技术

近年来，随着自动驾驶技术的快速发展，自动驾驶汽车运用在日常生活中的可能性也越来越大。其中，利用车载摄像头进行物体检测和跟踪是自动驾驶汽车在自动驾驶感知中的重要环节。

目前，现有的多物体再现跟踪方法一般均是在检测的基础上进行的，且几乎都是基于车载前视摄像头。目前主流的跟踪方法包括：基于光流跟踪、基于线性速度假设来预测物体位置并通过交并比(IOU)匹配等。

但是，上述这些方法的问题是当检测物体有长时间遮挡时会带来较大的估计偏差，将已经出现过的物体打上了新的标签(ID)且不同物体的ID发生交换的可能性较高；另一方面，单个摄像头的视野范围有限，而在诸如环视等多个摄像头的场景中，跟踪物体很容易丢失，算法几乎不适用，继而影响到预测和规划。

基于此，本发明基于车辆自动驾驶场景，考虑到自动驾驶车的摄像头数量较多，期望获得一种基于多个摄像头融合的目标物跟踪方法，该方法可以在自动驾驶过程中分别对目标物，例如车辆和行人进行训练重识别，从而提取目标物的外观特征，并基于其相似度作为匹配的基准，以提高目标物的跟踪准确度。

发明内容

本发明的目的之一在于提供一种基于多个摄像头融合的目标物跟踪方法，该目标物跟踪方法可以在自动驾驶过程中分别对目标物，例如车辆和行人进行训练重识别，从而提取目标物的外观特征，并基于其相似度作为匹配的基准，以提高目标物的跟踪准确度。

为了实现上述目的，本发明提出了一种基于多个摄像头融合的目标物跟踪方法，其包括步骤：

100：从若干个摄像头拍摄的图像中实时提取需要跟踪的目标物信息，所述目标物信息至少包括：目标物检测框在图像中的位置信息、目标物检测框内的图像、目标物类别和目标物ID；

200：采用经过训练的深度残差编码器对输入其中的目标物检测框内的图像进行识别，以输出对应的目标物外观特征编码；所述深度残差编码器的数量与目标物类别的数量对应；

300：存储目标物检测框在图像中的位置信息、目标物类别、目标物ID、目标物外观特征编码及其对应的时间戳，并将其作为对应的历史数据；

400：目标物检测框在图像中的历史位置信息，对目标物检测框在图像中的当前位置进行预测，以得到目标物检测框的预测位置；

500：基于当前检测的当前目标物检测框的位置，计算其与对应的目标物检测框的预测位置之间的欧式距离，并基于设定的第一阈值筛选出小于第一阈值的候选目标物；

600：基于当前检测的当前目标物外观特征编码，计算其与候选目标物的外观特征编码的余弦距离，并基于设定的第二阈值筛选出小于第二阈值的候选匹配目标物；

700：采用匈牙利算法从候选匹配目标物中为当前检测的当前目标物进行匹配指派，以实现跟踪。