[发明专利]基于深度学习的跨摄像头行人检测跟踪方法

说明书

本发明公开了一种基于深度学习的跨摄像头行人检测跟踪方法，包括通过训练行人检测网络，对输入的监控视频序列进行行人检测；以行人检测得到的目标框初始化跟踪目标，提取行人检测网络中候选框所对应区域的浅层特征和深层特征，实现跟踪；有目标消失时行人重识别，包括得到目标消失信息之后，利用行人重识别算法，从行人检测网络得到的候选图像中找到与消失目标匹配度最高的图像，继续跟踪；跟踪结束时输出行人目标在多个摄像头下的运动轨迹。本发明提取的特征能克服光照变化和视角变化的影响，而且跟踪和行人重识别部分均从行人检测网络中提取特征，将行人检测、多目标跟踪和行人重识别有机地融合起来，实现了大范围场景下精确的跨摄像头行人检测和跟踪。

技术领域

本发明属于计算机视觉、视频分析技术领域，具体地涉及一种基于深度学习的跨摄像头行人检测跟踪方法。

背景技术

随着人们对公共安全问题的重视以及监控摄像头数量和覆盖程度的快速增加，智能化的多摄像头监控发挥着越来越重要的作用。行人作为监控的主体，不仅具有一般目标的通性，还具有类内多样性，这正是行人检测与跟踪的难点。跨摄像头行人检测与跟踪是指检测并跟踪多个摄像头下的行人目标，当有目标离开当前摄像头的视野时能迅速在邻近摄像头区域重新找回该目标，进行持续的全方位跟踪，最终得到有效的行人轨迹和运动信息。多摄像头协同跟踪可以弥补单摄像头系统视野范围的局限性，能够实现目标在更大场景下的长时间跟踪，可以广泛应用于智能安防、机器人交互、公安刑侦等领域。但跨摄像头行人检测与跟踪也远比单摄像头跟踪难度大，具体表现在以下方面：1)实际监控场景中背景复杂，行人目标高度密集、互相遮挡等导致目标检测存在漏检和误检问题；2)跟踪过程中行人之间的频繁遮挡、随时都会出现新目标或者有旧目标离开当前摄像头的视野，给多目标跟踪增加难度；3)跨摄像头的光照变化、视角变化和行人的姿态变化导致同一个行人在不同摄像头下外貌特征发生变化，难以精确地在其他摄像头重新找回消失的目标。

传统的行人检测与跟踪系统中，检测部分主要是用人工提取的形状特征或纹理特征，如HOG、LBP、Haar特征等，再加上SVM或Adaboost分类器进行行人检测。跟踪部分根据如何初始化目标可以分为两类：一类是基于检测的跟踪(Detection-Based Tracking，DBT)，给定一个视频序列，在每帧中进行行人检测，然后进行顺序或批量跟踪；另一类是无需检测的跟踪(Detection-Free tracking，DFT)，这种方法需要在第一帧手动初始化一定数量的目标，然后在后续帧定位这些物体。相对来说，基于检测的跟踪方法应用更为广泛，因为它可以自动发现新目标、自动终止消失的目标，本发明的跟踪系统属于第一种方法。传统目标重识别算法主要集中在提取行人的外貌特征、形状特征和局部特征等浅层特征，然后在图像库中找出匹配度最高的行人目标。但是人工提取的检测特征、重识别特征难以克服目标遮挡、光照变化和视角变化带来的消极影响，从而限制了精度的提升，而精准的行人检测和行人重识别是实现跨摄像头行人跟踪的前提条件，因此寻找高鲁棒性的特征并且构建一个统一的行人检测与跟踪系统是关键。

现在已有的一些关于行人检测与跟踪的专利(包括发明授权专利和发明公布专利)如下：

1)申请号为：CN201410266099.X的中国发明专利《视频行人检测与跟踪方法》，此方法根据人头为人体的重要组成部分且具有刚体不变形，通过对不同人头目标的样本学习与训练对视频进行行人检测，确定人头目标，并基于人头色彩特征的差异性，采用粒子滤波对人头进行跟踪。此方法简便灵活，但在实际监控场景中行人可能十分密集或者存在遮挡，人头区域较小且差异性不大，仅仅对人头进行检测和跟踪会导致漏检率增加，影响行人检测与跟踪的精度。

2)申请号为：CN201611027589.X的中国发明专利《一种基于混合特征的带缓存机制的实时行人检测与跟踪方法》，此方法的思想是在监控视频帧通过滑动窗口的方式，提取每一滑动窗口内图像的混合特征(包括图像的颜色特征、边缘特征、纹理特征等)，并将其输入分类器进行检测，采用前后双向跟踪实现实时跟踪。所提供的方法虽然有很好的硬件可实现性，但是人工提取的特征难以克服光照变化以及遮挡问题，限制了精度的提升。