[发明专利]基于线性动态系统和深度网络的异常行为检测方法

说明书

本发明提供了一种基于线性动态系统和深度网络的异常行为检测方法。本发明将LDS动态系统模型与TSN深度学习网络相结合，通过TSN提取动作的时空特征信息，然后通过LDS将动作特征串联为完整的行为特征，最后通过支持向量机SVM判断行为类型。本发明在残差网络的基础上搭建了3D卷积网络，通过2D+1D形式构建3D卷积核，降低了网络参数量，并解决了原3D网络无法预载入权值的问题；在TSN结构中引入了残差3D网络，增加网络的特征提取能力；增加了网络层数，提升了网络的拟合能力。本发明能够实现长序列异常动作的高精度识别，最终达到对异常行为的精确监测。

技术领域

本发明涉及视频检测方法，具体涉及一种基于线性动态系统和深度网络的异常行为检测方法。

背景技术

近年来，视频监控已经广泛的应用于园区安防，交通监控，室内监测等公共环境中。随着监控的普及，需要一种快速、稳定的检测方法来对视频中的异常行为进行分析处理。所谓的异常行为是指不合规定或者常规的动作，即与常规行为相反，这类动作具有危险性或者隐藏危险性。通过检测人或人群的异常行为能够提供关键的预警信息，从源头上降低突发事件所带来的危害。

异常行为有如下特点：(1)动作持续时间短，特征不鲜明，易于常规动作混淆，例如离岗和入侵动作往往很短时间就结束，容易漏判和错判；(2)所处的监控环境人流量大，干扰信息多，异常行为种类多样，当众多人员散布在一个特定等场景内时，需要对各类非法行为进行检测。(3)离岗和入侵动作是由多个子动作组成，在视频中时序长度不定，需要方法能够从全局角度对此类异常行为进行检测。而传统的深度网络学习方法不能很好的检测长时序视频中的短时异常行为，其检测的精度和效率较低。

目前异常行为检测方法分为手工特征提取方法和深度学习方法。

1.手工特征提取方法，主要有HOG方法，SIFT方法，MBH方法，iDT方法等，这类方法都是通过手工设计特征并从视频中提取动作信息，最后使用机器学习方法进行分类。

2.深度学习方法，以时序网络RNN和卷积网络CNN为基础，主要有3种结构：LRCN，C3D和TSN。

LRCN(2D-CNN+LSTM)模型将视频特征分为动态和静态两类先后提取，通过2D-CNN提取图像中的静态特征，然后使RNN获取视频中的动态特征。模型结构是将RNN放置在 2D-CNN之后，即在已获得静态特征基础上提取时空特征，最后通过全连接层和Softmax结构获得分类结果。

C3D(3D-CNN)模型将视频中的静态和动态特征视为一体，通过更高维度的卷积核和池化核，网络能从视频中直接获取时空特征。模型结构与2D-CNN相似，拥有数层卷积、池化层以及Norm、激活函数等结构，也通过全连接层和Softmax获得预测结果。

TSN(Two-Stream Network)模型将视频中的静态和动态特征并行提取，将RGB图像与光流图像分别输入到两个CNN中，分别获得静态和动态特征信息，通过融合层获得分类结果。模型是由两组CNN并行组成的。

现有的手工提取特征方法和深度学习方法有如下缺陷：

1.在场景和动作类型较多的情况下，手工提取特征方法需要考虑不同的限制条件，并采取不同的编码手段。在实际操作中较为笨重复杂，方法缺乏可移植性，不适用园区内的异常行为检测。

2.三种深度学习方法具有如下特点和缺陷：

LRCN改变了特征提取顺序，通过分步的方式获取时空特征，但它忽略了动作中时空特征的整体性和结构性，将动态特征的提取简单的建立在了CNN上。此类串联提取时空特征的方法，丢失了低维的动态特征。在实际应用中，LRCN网络无法识别动作先后顺序(例如这类动作到底是进入岗位还是脱离岗位)，其识别精度也低于传统的ResNet和VGG等 2D-CNN。