[发明专利]一种基于自注意力机制的生成对抗网络视频异常检测方法

说明书

本发明适用于深度学习中视频异常行为检测技术领域，提供了一种基于自注意力机制的生成对抗网络视频异常检测方法，包括如下步骤：步骤S1：将含有连续t‑1帧的正常作视频帧为训练数据，按时间顺序堆叠起来输入生成器网络AttentionU‑net用来预测其下一帧；步骤S2：将生成的预测帧与实际帧共同输入liteFlownet光流网络中，保证视频帧之间的运动连续性；通过在生成对抗网络的U‑net生成器部分加入基于网格特征图分配权重的自我学习软注意力门控机制来提取特征，自注意力机制自动寻找图像的相关部分，提高对前景内容的响应，同时模型中加入强度损失函数，梯度损失函数和运动约束信息，判别器部分使用马尔可夫判别器，利用对抗学习来加强模型对视频中异常行为的检测能力。

技术领域

本发明属于深度学习中视频异常行为检测技术领域，尤其涉及一种基于自注意力机制的生成对抗网络视频异常检测方法。

背景技术

视频中的异常检测是指识别监控视频中不符合预期的行为事件。异常行为分析在在智慧安防、智能家居、医学康复等领域广泛应用，有着重要的研究意义和研究价值。传统的视频异常行为检测方法需手工提取目标特征，如梯度直方图(HOG)可表示目标对象表观轮廓的特征信息；光流特征图捕捉目标对象的运动信息特征；轨迹可提取运动目标的轨迹特征。但基于人工提取的特征表示较为单一且无法学习预期之外异常事件的特征，导致基于手工构建特征方法处理海量的视频数据能力通常比较弱且方法较难泛化，已较难得到新的突破。

随着深度学习在各个领域的发展，越来越多的研究人员将深度学习方法应用到视频异常行为检测中，自动地从海量数据集中学习数据本身的分布规律来提取出更加鲁棒的高级特征。但研究发现目前仍然具有一些缺陷：(1)不同的场景下异常的定义有所不同，例如车辆行驶在高速公路上属于正常事件，若出现在人行区域则属于异常事件。(2)异常行为的种类繁多且无法全部列举，用一种方法处理异常事件是不可行的。(3)异常行为事件发生是小概率事件且异常行为特征难以被全部学习。

目前基于深度学习的监控视频异常行为检测算法思路主要分为基于重构判别的思想和基于预测未来帧的思想两类。

重构判别算法认为通过模型训练来学习正常样本在样本空间服从的分布，符合该分布的正常样本都能较好重构，重构误差大的样本则属于异常样本。利用卷积自编码器(ConvolutionAE，CAE)进行的重构误差重构检测视频中的异常行为。有方法提出利用卷积长短期记忆(ConvLSTM-AE)框架提取目标物体的外观和运动信息重构误差来进行异常检测训练；有方法将稀疏编码映射到堆叠的循环神经网络(stackedRNN，sRNN)框架中进行重构来判别异常。目前，大多数研究者研究重点在于基于重构判别的异常检测算法的研究，但由于深度神经学习网络其强大的学习能力，其对于正常事件和异常事件的重构结果将是相似的，深度学习网络并不能保证对异常事件的重构误差一定很大。由此可见，几乎所有基于训练数据的重构误差的方法都不能保证准确发生检测出异常事件。

基于未来帧预测的算法模型假设正常行为是有规律的且是可预测的，而视频中异常行为事件由于其不确定性是不可预测的。该类方法可通过预测得到的未来预测帧与其对应的真实帧之间的差距来判断该事件是否包含异常行为。目前生成对抗网络(Generativeadversarialnetwork，GAN)在视频异常检测领域取得了突破性的进展，其网络架构可很好地用于预测。基于U-net的条件生成对抗网络进行异常行为检测，同时加入光流图特征进行运动特征约束；在此基础上提出基于对偶生成对抗网络模型，利用双生成器和双鉴别器的对偶结构分别对外观和运动信息进行异常判别；有方法提出利用卷积自编码器学习空间结构，U-net将输入与运动信息相关联的结构来进行异常检测。

以上所有基于U-net为生成器的生成对抗网络结构捕获了训练样本空间不变性的特征，但局限性之一是空间特征无法建立长距离依赖性，不能将特征信息进行有效连接。

发明内容