[发明专利]一种基于语义分割的高空抛物检测方法及系统

说明书

本发明提供一种基于语义分割的高空抛物检测方法及系统，包括预先通过知识蒸馏训练轻量化的语义分割网络，从监控视频取无相机抖动帧，输入语义分割网络提取建筑物区域，作为高空抛物检测的候选区域；取若干无相机抖动帧，进行二值化处理，然后用高斯混合模型进行背景建模，得到当前场景的背景图；对待检测的当前帧图像进行相机抖动判断，若相机不抖动，则利用背景使用背景差分法对当前帧图像进行建筑物区域内的运动检测，得到运动对象；对得到的运动对象进行去噪处理；对去噪后的候选对象用匈牙利算法进行目标追踪，如果能成功追踪，则对跟踪轨迹进行判断，若跟踪轨迹符合高空抛物的轨迹，则认为是高空抛物，进一步得到其抛出位置和落点位置。

技术领域

本发明涉及基于深度学习的语义分割，基于轨迹的目标识别和运动目标检测与跟踪，能有效处理高空抛物检测中目标小、时效性差和场景复杂三大难点问题。

背景技术

高空抛物被称为“悬在城市上空的痛”。在“城市陋习排行榜”中，它与“乱扔垃圾”齐名，排名第二。高空抛物，是一种不文明的行为，而且会带来很大的社会危害。2019年11月，最高人民法院印发《关于依法妥善审理高空抛物、坠物案件的意见》，明确对于故意高空抛物者根据具体情形依法处置。但是高空抛物发生后，面临难以确定抛物楼层，难以确定抛物者身份等急迫问题，严重影响了后续追责工作的进行。甚至出现了一栋楼的居民集体承担相关责任的情况。有证据显示，在一次高空抛物未被处理的情况下，发生类似行为的概率明显加大。上述事件说明高空抛物的实时监测、预警处理具有很强的实用性。但是当前的高空抛物检测方法及系统的性能不太理想，例如通常面临实时性不足，漏检、错检比例高等问题。

语义分割结合了图像分类、目标检测和图像分割，通过一定的方法将图像分割成具有一定语义含义的区域块，并识别出每个区域块的语义类别，实现从底层到高层的语义推理过程，最终得到一幅具有逐像素语义标注的分割图像。图像语义分割方法有传统方法和基于卷积神经网络的方法，其中传统的语义分割方法又可以分为基于统计的方法和基于几何的方法。随着深度学习的发展，语义分割技术得到很大的进步，基于卷积神经网络的语义分割方法与传统的语义分割方法最大不同是，网络可以自动学习图像的特征，进行端到端的分类学习，大大提升语义分割的精确度。常用的语义分割模型有以下三种：

1.实时语义分割技术。现阶段评价应用于语义分割的网络模型主要着重点在精确率上，但是随着应用于现实场景的要求越来越高，需要更短的响应时间，因此在维持高精确率的基础上，尽量缩短响应时间应是今后工作的方向。

2.弱监督或无监督语义分割技术。针对需要大量的标注数据集才能提高网络模型的精度这个问题，弱监督或无监督的语义分割技术将会是未来发展的趋势。

3.三维场景的语义分割技术。目前的诸多基于深度学习的语义分割技术所用以训练的数据主要是二维的图片数据，同时测试的对象往往也是二维的图片，但是在实际应用时所面对的环境是一个三维环境，将语义分割技术应用至实际中，未来需要针对三维数据的语义分割技术进行研究。

语义分割网络参数量较大，推理时间较长，影响算法的实时性，一般采用知识蒸馏的方法对模型进行轻量化处理。知识蒸馏是想将复杂模型(教师网络)中的隐藏知识迁移到简单模型(学生网络)中去，一般来说，教师网络具有强大的能力和表现，而学生网络则更为紧凑。通过知识蒸馏，希望学生网络能尽可能逼近或者是是超过教师网络的精度，从而用更少的复杂度来获得类似的预测效果。Hinton在Distilling the Knowledge in a NeuralNetwork中首次提出了知识蒸馏的概念，通过引入教师网络的软目标(soft targets)以诱导学生网络的训练。近些年来出现了许多知识蒸馏的方法，而不同的方法对于网络中需要传递的隐藏信息的定义也各不相同。

高空抛物检测是一种特殊的运动目标检测，运动目标检测是指通过计算机视觉的方法减除视频中时间和空间上的冗余信息，有效地提取出发生空间位置变化的物体的过程，在许多计算机视觉的应用中得到了广泛的关注。主要有以下三种方法：