[发明专利]一种面向仓库场景的跨摄像头多目标跟踪方法

说明书

本发明公开了一种面向仓库场景的跨摄像头多目标跟踪方法，主要包括目标检测、多目标跟踪、轨迹映射三部分。目标检测器实现了目标之间存在相互遮挡场景下的精确检测；多目标跟踪器可以基于目标模板框预测各目标在当前帧的位置；通过将检测框和多目标跟踪框进行最优匹配来更新目标状态以及跟踪池信息；利用摄像头之间的时空关系，基于目标外观特征实现目标的跨摄像头跟踪；通过投影映射技术将目标轨迹映射到统一的仓库地图中以可视化跟踪过程。该方法可实现仓库场景下鲁棒的跨摄像头检测与跟踪。

技术领域

本发明涉及计算机视觉领域，具体涉及一种面向仓库场景的跨摄像头多目标跟踪方法。

背景技术

近年来计算机视觉、人工智能(AI)技术的进步，带动了安防行业的快速发展，摄像头保有量越来越多，以摄像头为基础设施的AI智能应用迅速膨胀，企业对于摄像头的智能化需求快速增长。在计算机视觉诸多任务中，目标跟踪任务在监控视频领域中应用非常广泛，最常见的如行人跟踪、车辆跟踪等。

目标跟踪技术在计算机视觉领域已发展多年，主要根据跟踪任务的不同可分为：1、单摄像头单目标跟踪。2、单摄像头多目标跟踪。3、跨摄像头多目标跟踪。我们的方法主要解决第3种跨摄像头多目标跟踪任务(Multi-Target Multi-Camera Tracking,MTMCTracking)，目前国内外提出的多目标跟踪方法大多涉及整体的跟踪框架设计，一种主流的跟踪框架是基于目标检测以及目标全局最优匹配，需要特征提取模型提取目标的外观特征结合目标位置运动信息以达到最优匹配效果，但是这种方案会存在以下缺点：1)当不同目标外观相似度较高时，容易发生误匹配；2)由于目标可能发生互相遮挡，提取的外观特征不可靠；3)耗时长，特征提取模型耗时往往和检测模型耗时相当，另外，密集场景下，由于目标数量众多，全局匹配的耗时会随之增加；

综上所述，本发明最终解决以下问题：1)由于目标外观区分度不足引起的目标身份切换；2)由于目标互相遮挡引起的目标跟踪丢失；3)由于引入额外特征提取模型导致的跟踪算法开销增加。

发明内容

本发明的目的在于针对现有技术的不足，提出一种面向仓库场景的跨摄像头多目标跟踪方法，本发明可以实现对仓库场景下的多目标进行鲁棒的跨摄像头检测与跟踪。

本发明的目的是通过以下技术方案实现的：一种面向仓库场景的跨摄像头多目标跟踪方法，该方法包括：

仓库中每个摄像头负责一条货架通道的监控，各摄像头覆盖货架之间的所有通道；各摄像头根据视野中通道出入口的数量和位置划分不同的跟踪池，包括1个主通道存活跟踪池、1个主通道消亡跟踪池、多个出入口消亡跟踪池；

获取仓库各摄像头俯拍货架间通道得到的视频流；

基于深度学习的目标检测器逐帧或跳帧检测所述视频流中的目标对象；

在第一帧或者主通道存活跟踪池中没有跟踪目标时，以目标检测器检测到的目标检测框作为模板框，创建新目标，并初始化主通道存活跟踪池；

在后续帧或者主通道存活跟踪池中已存在跟踪目标时，基于孪生网络的多目标跟踪器，依据主通道存活跟踪池中目标对象的模板框，预测这些目标对象在当前帧的位置；

在后续跟踪过程中，依据多目标跟踪器预测得到的跟踪框与当前帧目标检测器检测到的检测框，进行IOU最优匹配，根据匹配结果更新各跟踪池中的目标：若目标的跟踪框与检测框匹配，则将该检测框更新为目标最新的模板框；若目标连续多帧的跟踪框没有与之匹配的检测框，则根据该目标最后跟踪框的位置，将该目标从主通道存活跟踪池移入相应的消亡跟踪池中；若出现新目标，则根据新目标出现的位置，基于外观特征匹配的方式从相应的消亡跟踪池中恢复目标或新建目标，从而实现目标跨摄像头跟踪或目标消失后再跟踪；

基于投影映射技术将所述视频流中目标的跟踪轨迹映射到统一地图中。