[发明专利]一种基于前景信息增强的视频异常检测方法

说明书

本发明公开了一种基于前景信息增强的视频异常检测方法，包括：将视频帧进行背景与前景的分割的预处理；搭建生成网络以及判别网络模型；将预处理后的视频输入生成网络，生成下一帧预测视频帧，构建生成网络的损失函数，在损失函数中加入RGB三色强度约束以及梯度约束用来保证视频帧在空间上的连续性，加入运动约束用来保证视频帧在时间上的连续性，加入对抗约束用来与判别网络进行对抗；构建判别网络的损失函数，利用判别器进行预测视频帧以及对应的实际视频帧的区分；以训练集中的多组正常行为的视频帧训练生成网络和判别网络；将待判别的视频帧数据输入训练好的生成网络和判别网络中，得出基于自适应峰值信噪比，判断异常行为是否发生。

技术领域

本发明涉及计算机视觉领域，涉及深度学习、视频异常检测技术，具体涉及一种基于前景信息增强的视频异常检测方法。

背景技术

随着视频采集联网设备的广泛部署，视频和图像体量增长迅速，长短视频数据占据了互联网流量的大部分。因此，如何高效快速分析视频数据，提取有用信息，辅助人工智能决策，是当前计算机视觉领域亟待解决的重大课题。

安防领域作为计算机视觉应用的重要领域，依赖于快速可靠的视频数据分析性能。特别的，在监控视频中，最常见的需求就是要自动识别视频流中的异常事件，也就是视频异常检测任务。其中，计算机视觉与深度学习相结合的技术是解决各类复杂的视频图像处理问题的有效方法。计算机视觉是使用计算机及相关设备对生物视觉的一种模拟，是人工智能领域的一个重要部分，它主要任务是通过对采集的图片或视频数据进行处理以获得相应场景的信息。

在传统的计算机视觉系统中，其主要目标是从图像中提取特征，包括边缘检测、角点检测、基于颜色的分割等子任务。传统计算机视觉系统需要预先确定图像特征，采用一些特征提取算法(如尺度不变特征变换匹配算法、加速鲁棒特征算法等)，检测算法性能的提升可以通过人工微调来解决，并且需要针对特定的应用程序进行硬编码，这对高质量计算机视觉的实现造成了很大的障碍。基于深度学习的计算机视觉系统，是训练深度学习系统内的神经网络，可以避免通过复杂的编程算法来搜索特定特征。随着计算机算力的增强，基于深度的学习的计算机视觉有望自动训练和改进模型，以改善视频数据分析性能。

当前基于深度学习的视频异常检测模型，主要包括基于未来帧预测的视频异常检测模型、基于概率的视频异常检测模型、基于距离的视频异常检测模型、基于重构的视频异常检测模型、基于域的视频异常检测等。然而，异常事件通常是不可预测的。当前视频异常检测方法并未考虑在数据预处理时把前景和背景分开，以至于背景的信息也会进入深度学习的神经网络中，浪费部分资源在研究提取背景的特征，而背景的特征数据在视频异常检测中作用有限。其次，异常事件的检测是依靠判断重构图像与实际图像的差异。由于大部分算法是比较图像整体的峰值信噪比(PSNR,Peak Signal to Noise Ratio)的，导致小范围异常帧难以检测，降低了异常检测的正确率。

发明内容

本发明的目的是提供一种基于前景信息增强的视频异常检测方法，针对视频智能化决策的需求，对异常情况进行判断检测，提高视频异常检测的精度以及处理的效率。

为了实现上述任务，本发明采用以下技术方案：

一种基于前景信息增强的视频异常检测方法，包括以下步骤：

步骤1，将训练集中连续的t+1帧视频帧进行背景与前景的分割的预处理，保留视频图像的前景区域；

步骤2，搭建生成网络以及判别网络模型；其中，生成网络包括生成器和光流网络；