[发明专利]一种在垂直视角下基于深度学习的客流计数方法

权利要求书

1.一种在垂直视角下基于深度学习的客流计数方法，其特征在于，包括以下步骤：

S1：在视频画面内绘制进出统计线；

S2：利用深度学习方法在当前画面内进行行人头肩检测；

S3：判断当前画面是否存在头肩，如果是则转到步骤S4；如果不是则转到步骤S2，对下一帧继续检测；

S4：将当前帧检测到的头肩与跟踪列表里的头肩进行匹配更新；

S5：判断跟踪目标起始点和终止点是否在进出线两侧，如果是则转到步骤S6；如果不是则转到步骤S2,对下一帧继续检测；

S6：更新进出的人数信息，接着转到步骤S2,对下一帧继续检测；

所述步骤S1中当行人先经过进线再经过出线，表示离开状态，反之，当行人先经过出线再经过进线，表示进入状态；

所述步骤S2中使用SSD深度学习检测方法，先在应用场景进行数据学习训练，接着对采集的视频的每一帧进行头肩检测：

其中N表示在多个深度卷积层匹配到的框的个数，如果N＝0，设置损失函数L()为0，是一个指示器，表示类别p上第i个检测框与第j个真实框匹配；

定位损失L_loc使用的是预测框l与真实框g的L1范数损失：

置信度损失L_conf采用的是头肩与背景置信度c的softmax损失：

基于上述的损失函数训练出来的模型收敛后可用于行人的头肩检测，给模型输入一张图片后可得到图片中头肩框的坐标位置以及是否为头肩的置信度，接着对采集的视频的每一帧利用该模型进行行人头肩的检测，用深度学习的方法不需要对视频进行背景建模和前景提取，也不需要对前景进行行人切割；

所述步骤S4中将当前帧检测到的头肩与跟踪列表里的头肩进行匹配更新，

初始时跟踪列表为空，当检测到画面内有头肩信息时，将头肩信息加入到跟踪列表内，接着使用匈牙利算法对跟踪列表里的头肩与当前帧检测到头肩进行匹配，其中匈牙利算法首先利用距离进行限制，头肩之间质心距离超过一个肩部距离的直接不匹配，接着衡量头肩之间的匹配相似度采用深度卷积层的特征进行度量，将检测到的头肩位置映射回深度卷积层对应的位置，若基础网络是VGG则采用conv4_3层的特征，将头肩的深度卷积特征统一归一化到一个固定的尺寸使得两两之间利用L2范数求得一个匹配相似度：

其中L表示匹配相似度，f_last跟踪列表的头肩在conv4_3层的特征，f_now表示当前 帧检测到的头肩在conv4_3层的特征；

通过匈牙利算法的最优匹配原则将头肩之间匹配相似度最高的匹配上，剩下没有匹配上的再做下述步骤的处理；

1)如果跟踪列表里有头肩没有匹配上，先暂时保留，如果8帧之后仍旧没有匹配上则认为该跟踪目标已离开将它删除；

2)如果当前帧检测到的头肩没有匹配上，则认为它可能是新出现的跟踪目标，如果后续8帧有出现了5帧以上，则确认它为新出现的目标，将它加入跟踪列表，如果后续8帧该目标出现的次数小于2次，则认为它是噪声，将它删除。

2.根据权利要求1所述的在垂直视角下基于深度学习的客流计数方法，其特征在于，所述步骤步骤S5中跟踪目标初次进入画面捕获到的位置即为跟踪起始点，跟踪目标离开画面时跟踪结束，跟踪目标最后存在的位置即为跟踪终止点；采用的是对跟踪目标的跟踪起始点以及跟踪终止点进行判定，通过起始点与终止点与线的相对位置判定是否为一个有效的进入或者离开，避免工作人员在线的两侧徘徊影响计数的现象。

3.根据权利要求2所述的在垂直视角下基于深度学习的客流计数方法，其特征在于，所述步骤S6中更新进出的人数信息，根据上一步骤得到的当前帧的离开人数和进入人数更新当前系统的总离开人数和进入人数，当前总离开人数等于当前帧的离开人数加上上一帧的总离开人数，当前总进入人数等于当前帧的进入人数加上上一帧的总进入人数，接着转到步骤S2，对下一帧继续检测。