[发明专利]一种基于监控视频的遗留物检测方法

说明书

本发明提供一种基于监控视频的公共场所遗留物检测方法，首先，通过图像采集设备获取视频流，然后，根据视频帧中游客与其携带物的关系，匹配游客及其携带物，再对游客及其携带物使用卡尔曼滤波与表观建模的级联匹配方法进行目标跟踪，根据跟踪结果与游客及其携带物的综合距离度量，最后判断游客携带物是否离开游客，若携带物独立停留时间超过阈值，则判定为遗留物并报警。本发明通过综合距离度量判断遗留物是否离开游客，能更好应对传统IOU方法无法应对的情形；同时，使用卡尔曼滤波与表观建模的级联匹配方法对目标物体进行跟踪，增强了多目标跟踪任务的鲁棒性，对公共场所的遗留物检测具有较强的针对性，准确率高。

技术领域

本发明设涉及图像处理技术领域领域，具体涉及一种多目标检测跟踪方法。

背景技术

公共场合游客遗失随身携带物是非常常见的状况，遗失的携带物小至钱包、手机，大至旅行箱包。能够及时发现遗留物体并采取相关措施，就能够有效保障游客的财产安全，减少游客再次返回寻找的时间成本。

在判定某携带物是否属于特定游客方面，传统的遗留物检测方法使用IOU进行判定，但针对游客身后拖拽行李箱等情况，游客与其携带物仅存在松散连接，即人体与物体检测框很可能距离较近，但完全没有重叠，IOU为0，无法准确判断游客与其携带物的关联性。

同时，传统的基于卡尔曼滤波的跟踪算法着重考量游客及其携带物的运动信息，当出现物体遮挡的情况时，重新出现在画面中的物体会被误认为是第一次出现在画面中，对遗留物的判定造成很大的困难。

发明内容

为解决上述问题，本发明采用神经网络对检测目标的表观特征进行建模，并将特征向量保留一段时间，再对卡尔曼滤波跟踪失败的目标采用相同的神经网络提取其表观特征，并以余弦距离方式度量其相似度，由此解决遮挡目标重识别的问题，有效提升算法的准确度。

针对传统IOU方法无法检测游客与其携带物仅存在松散连接的情况，本发明采用综合距离度量判定游客与其携带物的关联性，提升了算法的稳定性。

为实现上述目的，本申请采用以下技术方案予以实现：

一种基于监控视频的遗留物检测方法，该方法包括以下步骤：

S1：通过图像采集设备，获取视频流；

S2：匹配游客及其携带物，其具体包括以下步骤：

S21：使用YOLOv4网络，检测第N帧游客人体及其携带物，并将携带物作为目标物体；

S22：利用综合距离度量对多个目标物体及其对应游客人体进行匹配，其表达式如下：

其中P为YOLOv4网络检测到的人体检测框，P_c为其中心点；O为携带物检测框，O_c为其中心点；S为检测框O与P的最小凸集，S_d为其对角线长度；ρ²(·)为欧氏距离；考虑到某些随身携带物离身体较远，如拖行的行李箱，使用传统的IOU作为特征无法准确反映其匹配关系；该方式可以度量两个不重合或部分重合的检测框的距离关联；当目标物体与人体的综合距离dist(P,O)大于阈值T1时，则确定其关联关系；S3：对游客及其携带物进行目标跟踪，其具体包括以下步骤：

S31：利用神经网络对多个目标进行表观建模；

使用如图所示的神经网络，将目标的表观特征提取为128维向量r_j，对最后的输出结果应用批量归一化与L2正则化，保证||r_j||＝1；

S32：使用递归卡尔曼滤波预测第N+1帧中多个目标物体的位置P；

S33：检测第N+1帧中的多个目标物体D；