[发明专利]一种异常行为检测方法、终端设备及存储介质

说明书

本发明涉及一种异常行为检测方法、终端设备及存储介质，该方法中包括：采集多组连续t+1帧视频图像组成的视频图像序列，将所有视频图像序列组成训练集；构建U‑Net神经网络，U‑Net神经网络的输入为第1～t帧视频图像组成的视频图像序列，输出经过U‑Net神经网络重构后的重构图像，通过训练集对U‑Net神经网络进行训练，使得重构图像与采集的第t+1帧的真实图像的差异最小；通过训练后的U‑Net神经网络对视频中连续帧的图像不断重构，通过重构图像与其对应的真实图像之间的差异与阈值的关系，判断视频中是否存在异常行为。本发明从大量视频数据的规律中自主学习对行为类别的分类，省去了标注标签的工作量。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种异常行为检测方法、终端设备及存储介质。

背景技术

异常行为检测技术在安防系统中有广阔的应用前景，目前对于异常行为的实时监控大多依赖于监控人员通过监控系统进行人工巡查，但是由于监控人员出现疲劳、注意力无法长时间集中等原因，常常出现异常行为的漏检、误检等情况。因此，能够自动识别视频中的异常行为的系统将提高打击违法犯罪的效率。

现有的异常行为检测方法主要分为两种类型：

1)基于传统的手工特征提取的异常行为检测方法。传统的手工特征提取方法包括以下步骤：1.对视频进行采样并提取特征；2.对特征进行编码；3.对编码后的向量进行归一化；4.训练分类器。但是，这种方法所能检测出的异常行为的种类较少，而现实场景中大多包含多种的异常行为，因此这类方法不能很好地胜任复杂场景的检测。

(2)基于深度学习的异常行为检测方法。深度学习中用于异常行为检测的神经网络主要包括卷积神经网络(convolutional neural networks,CNN)和循环神经网络(recurrent neural networks,RNN)。较为经典的方法是Simonyan等人提出的用于行为识别的双流CNN(dual-stream CNN)，其将视频视为图像序列，其中空间流用于计算图像帧的CNN特征，时间流用于计算几个图像帧之间的光流CNN特征，最后将两种特征合并。Ji等提出了一种基于3D CNN(three-dimensional CNN)的方法，该方法将时间添加到二维CNN中，使神经网络可以从视频中学习空间和时间信息。但是，上述基于监督学习的异常行为检测方法仅仅依赖于强大的行为检测分类器，并未充分利用先验知识。这种方法存在计算量大从而影响检测速度的问题。并且为监督学习创建标签需要大量的工作，手工创建的标签越少，该算法可用于训练的数据就越少。

发明内容

为了解决上述问题，本发明提出了一种异常行为检测方法、终端设备及存储介质。

具体方案如下：

一种异常行为检测方法，包括以下步骤：

S1：采集多组连续t+1帧视频图像组成的视频图像序列，将所有视频图像序列组成训练集；

S2：构建U-Net神经网络，U-Net神经网络的输入为第1～t帧视频图像组成的视频图像序列，输出经过U-Net神经网络重构后的重构图像，通过训练集对U-Net神经网络进行训练，使得重构图像与采集的第t+1帧的真实图像的差异最小；对U-Net神经网络的训练过程中还包括外观约束、运动约束和信息增益约束；

S3：通过训练后的U-Net神经网络对视频中连续帧的图像不断重构，通过重构图像与其对应的真实图像之间的差异与阈值的关系，判断视频中是否存在异常行为。

进一步的，U-Net神经网络构成的自编码器分为编码器和解码器，编码器负责对图像的特征进行提取，并逐渐减小池化层的空间尺寸，解码器负责对图像的重构并恢复图像的细节和空间尺寸。

进一步的，外观约束包括强度约束和梯度约束；强度约束为计算重构图像与真实图像之间所有像素值的差值，梯度约束为计算重构图像与真实图像之间的梯度。