[发明专利]基于前景背景分离的视频异常检测方法

说明书

本发明提供了一种基于前景背景分离网络的视频异常检测方法，解决了在实际中大多数异常事件出现在前景中，现有技术没有区分前景和背景导致不能充分学习正常事件的模式，从而异常事件检测精度不足的问题。实现步骤为：(1)利用主成分分析(PCA)技术提取视频帧的背景图像和前景图像作为groundtruth；(2)基于卷积神经网络构建一个前景背景分离网络；(3)对前景背景分离网络进行迭代训练，得到一个能准确分离视频帧中正常事件的前景和背景，而无法准确分离异常事件的前景和背景的分离器，同时在这个过程中利用光流作为前景的边缘轮廓信息辅助任务执行；(4)根据分离结果与groundtruth的差异进行视频异常检测。

技术领域

本发明属于计算机视觉领域，涉及一种视频异常检测方法，具体涉及一种基于前景背景分离的视频异常检测方法。本发明可用于对视频监控图像中的异常事件进行检测。

背景技术

视频监控对于维护公共安全非常重要，为了应对公共区域日益严重的安全问题，越来越多的地方都部署了视频监控系统。与此同时，监控系统将产生大量的视频数据，因此在没有人工辅助的情况下实时检测异常事件是很有必要的。目前，对于视频监控中的异常事件进行检测主要有两种办法：1)基于手工特征的传统方法。在这种方法中，首先需要利用HOG，HOF等描述子构建与外观或者运动相关的特征，然后通过字典学习的方式重建正常事件，利用对异常事件的重建误差进行异常检测。但是，手工特征有限的表示能力导致这类方法不能适应复杂的场景。2)基于深度学习的方法。一种是基于卷积自编码器学习正常事件的模式来重构视频帧，利用对异常事件的重建误差进行异常检测。另一种是基于历史信息去预测正常视频的未来帧，利用对异常事件的预测误差进行异常检测。由于深度神经网络具有自动抽取高级特征的能力，所以基于深度学习的方法有更高的精度，也使其成为目前主流的方法。

Wen Liu等人在其发表的论文“Future Frame Prediction forAnomalyDetection–ANew Baseline.”(Proceedings ofthe IEEE Conference on ComputerVisionand Pattern Recognition,2018,pp.6536-6545)中提出一种基于未来帧预测的视频异常检测方法。该方法采用Unet作为预测网络来预测视频数据的未来帧，在训练预测网络时，根据前四帧图像来预测第五帧图像，通过最小化预测的未来帧图像与真实未来帧之图像间的梯度损失与强度损失来对预测的未来帧图像进行外观约束，通过最小化预测的未来帧图像与真实将来帧图像之间的光流损失来进行运动约束，并联合生成对抗网络来优化模型。该方法不仅对预测的未来帧图像的外观进行了约束，还通过提取光流来对预测的未来帧图像进行运动约束，能更好地预测出正常视频的未来帧图像，而异常事件与正常事件的模式是不同的，模型对于异常事件会有较大的预测误差，从而利用此误差进行异常检测。但是，该方法仍然存在的不足之处是，忽略了在视频中异常事件大多数情况下都发生在前景中，直接预测完整的未来帧会导致模型在训练的过程中把大量精力都消耗在背景上，不能确保学习一个有效的正常事件的模式，进而异常检测的精度较低。