[发明专利]一种面向仓库场景的跨摄像头多目标跟踪方法

权利要求书

1.一种面向仓库场景的跨摄像头多目标跟踪方法，其特征在于，包括：

仓库中每个摄像头负责一条货架通道的监控，各摄像头覆盖货架之间的所有通道；各摄像头根据视野中通道出入口的数量和位置划分不同的跟踪池，包括1个主通道存活跟踪池、1个主通道消亡跟踪池、多个出入口消亡跟踪池；

获取仓库各摄像头俯拍货架间通道得到的视频流；摄像头之间根据位置关系，依赖各自对应的消亡跟踪池与相邻摄像头进行目标传递，实现跨摄像头跟踪；

基于深度学习的目标检测器逐帧或跳帧检测所述视频流中的目标对象；所述的基于深度学习的目标检测器不仅预测目标的位置，还预测目标被遮挡的概率，根据概率阈值判断检测目标是否被遮挡，将检测目标分为未遮挡与遮挡两类，并分别进行非极大值抑制算法后处理筛选，得到目标最终的检测框。

在第一帧或者主通道存活跟踪池中没有跟踪目标时，以目标检测器检测到的目标检测框作为模板框，创建新目标，并初始化主通道存活跟踪池；

在后续帧或者主通道存活跟踪池中已存在跟踪目标时，基于孪生网络的多目标跟踪器，依据主通道存活跟踪池中目标对象的模板框，预测这些目标对象在当前帧的位置；所述多目标跟踪器基于孪生网络实现，以主通道存活跟踪池中所有目标模板框为中心确定各目标在当前帧的搜索框，多目标跟踪器根据主通道存活跟踪池所有目标的模板框与对应的搜索框，预测这些目标在当前帧中的跟踪框；

在后续跟踪过程中，依据多目标跟踪器预测得到的跟踪框与当前帧目标检测器检测到的检测框，进行IOU最优匹配，根据匹配结果更新各跟踪池中的目标：根据检测框和跟踪框的匹配结果：若检测框与跟踪框相匹配，则代表该跟踪目标正常跟踪，将该跟踪目标的检测框作为最新的模板框，并将该跟踪目标的连续非正常跟踪帧数置0；若检测框没有与之匹配的跟踪框，则代表该检测框是新出现目标，需要以该检测框为模板框创建新的跟踪目标或从相应的消亡跟踪池中恢复跟踪目标加入主通道存活跟踪池中；若跟踪框没有与之匹配的检测框，则代表该跟踪目标可能消失，该跟踪目标的连续非正常跟踪帧数加1，并且不更新模板框。

若目标连续多帧的跟踪框没有与之匹配的检测框，则根据该目标最后跟踪框的位置，将该目标从主通道存活跟踪池移入相应的消亡跟踪池中；若出现新目标，则根据新目标出现的位置，基于外观特征匹配的方式从相应的消亡跟踪池中恢复目标或新建目标，从而实现目标跨摄像头跟踪或目标消失后再跟踪；当主通道存活跟踪池中跟踪目标的连续非正常跟踪帧数超过一定阈值时，需要根据目标最后跟踪框的位置，将目标从主通道存活跟踪池转移到相应的消亡跟踪池中；若目标判定不在出入口区域内消失，则将该跟踪目标加入主通道消亡跟踪池中；若目标判定在某出入口区域内消失，则将该跟踪目标加入对应的出入口消亡跟踪池中。

新出现的目标框需要确定是否在出入口区域内出现，若是在某出入口区域内出现，且对应的相邻摄像头的出入口消亡跟踪池或自身的出入口消亡跟踪池中存在消亡目标，则根据外观特征匹配的方式从消亡跟踪池中恢复目标，若消亡跟踪池中不存在目标，则以该检测框为模板创建新目标；若不在出入口区域内出现，且主通道消亡跟踪池中存在消亡目标，则根据外观特征匹配的方式从主通道消亡跟踪池中恢复目标，若主通道消亡跟踪池中不存在目标，则以该检测框为模板创建新目标。

恢复消亡跟踪池中的目标时，需要计算新目标与消亡跟踪池中所有目标的外观特征相关度，选择恢复外观特征相关度最大的消亡目标，并将新目标的检测框作为该恢复目标的模板框，同时连续非正常跟踪帧数置0。

跟踪的目标对象包含模板框、连续非正常跟踪帧数、外观特征、历史跟踪框、历史帧序号等信息；

利用投影映射技术，为每个摄像头的图像坐标系与统一地图坐标系之间建立一个3x3的投影变换矩阵，用于将各摄像头视野中跟踪目标的脚点坐标从各图像坐标系变换到统一地图上，以可视化跟踪轨迹。