[发明专利]一种智慧楼宇在线跨摄像头多目标追踪方法

说明书

本发明公开了一种智慧楼宇在线跨摄像头多目标追踪方法，以楼宇入口的摄像头为基准摄像头获取视频流，通过行人检测，多目标追踪方法和特征筛选方法获得特征加入基准库，以其他摄像头为对比摄像头获取视频流，采用图片‑图片关联方式与基准库特征进行匹配；进行多目标追踪时，根据不同的匹配情况来融合位置和外观距离；采用无监督的方式来训练行人重识别网络，得到完整的行人轨迹。本发明在实现实时追踪的基础上提高了识别准确率，进行多目标追踪时，根据不同的匹配情况来融合位置和外观距离，显著提高匹配的准确性，采用无监督的方式来训练行人重识别网络提升了算法性能、加速了算法落地；可以显著提升智慧楼宇场景下的跨摄像头多目标追踪的精度。

技术领域

本发明属于跨摄像头多目标跟踪技术领域，具体涉及一种智慧楼宇在线多摄像头多目标追踪方法。

背景技术

跨摄像头多目标跟踪技术旨在确定跟踪目标在多个摄像头下的轨迹。现有方法采用轨迹-轨迹的关联方式，需要生成一段完整的轨迹，无法对目标进行实时追踪；其他方法采用图片-图片关联方式，虽然可以实时进行追踪，但没有对特征进行筛选，准确率较低；此外在实际的楼宇应用场景中，行人首先出现在入口的摄像头，而后出现在其他摄像头中，现有方法没有利用这一信息。

多目标追踪算法用来生成跟踪目标在单个摄像头下的轨迹。现有方法计算检测结果与轨迹间的位置信息和外观特征距离矩阵，线性加权两种距离进行匹配，或只使用一种距离进行匹配；但是当轨迹连续成功匹配时，使用位置信息距离矩阵匹配对遮挡会更加鲁棒，而轨迹长时间未成功匹配时，使用外观特征距离矩阵匹配准确性会更高。

行人重识别算法用来解决跨摄像头匹配和增强多目标追踪算法面对长遮挡时准确性。现有方法需要大量的训练样本，使得模型具有更好的性能，但行人重识别数据集的标注非常消耗时间和人力。

发明内容

发明目的：本发明的目的是提供一种智慧楼宇在线跨摄像头多目标追踪方法，实现无需人为操作，便可准确实现行人的跨摄像头追踪。

技术方案：本发明提供一种智慧楼宇在线跨摄像头多目标追踪方法，具体包括以下步骤：

(1)对楼宇内监控视频进行数据采集，得到包含多个行人通过多个摄像头的视频片段以及实时视频流；所述摄像头包括一个基准摄像头和多个对比摄像头；

(2)对视频片段进行标注，制作数据集，利用无监督的方法训练行人重识别网络；

(3)对实时视频流进行抽帧，对每一帧图片使用行人检测算法，得到包含行人全身的最小矩形检测框，得到包括位置信息和外观信息的行人检测信息；

(4)对于基准摄像头获取的视频流，利用行人检测信息，使用多目标追踪方法，得到行人轨迹，将轨迹中的行人图像送入行人重识别网络，得到其重识别特征，并筛选得到k个特征加入对比库中；

(5)对于对比摄像头获取的视频流，利用得到的行人检测信息初始化轨迹，将轨迹的初始行人外观信息送入行人重识别网络，得到其重识别特征，与对比库中的特征计算余弦距离，若与距离排名第一的样本S的余弦距离小于先验阈值L_c，则初始化一个新的轨迹，且其行人编号与S相同；使用多目标追踪方法，得到完整的行人轨迹。

进一步地，步骤(2)所述数据集按4:1随机拆分成训练集和测试集。

进一步地，所述步骤(2)包括以下步骤：

(21)获取数据集中的正样本和负样本，认为同一个轨迹内的检测样本互为正样本，认为同一帧的多个检测样本互为负样本；

(22)获取跨摄像头的正负样本，采用k互编码算法，其公式为：