[发明专利]基于深度卷积神经网络的人群异常行为视觉检测及分析预警系统

权利要求书

1.一种基于深度卷积神经网络的人群异常行为视觉检测及分析预警系统，其特征在于：所述系统包括安装在监控目标设施的摄像机、安防云服务器和人群异常行为视觉检测分析预警系统；

所述的摄像机用于获取目标设施的视频数据，配置在需要监控的目标设施的上方，通过网络将需要监控的目标设施的视频图像数据传输给所述的安防云服务器；

所述的安防云服务器用于接收从所述的摄像机所获得的监控目标设施的视频数据，并将其递交给所述的人群异常行为视觉检测分析预警系统进行检测和识别，最后将检测分析结果保存在云服务器中并以WebGIS的方式进行发布，并推送报警至管理者或决策者；

所述的人群异常行为视觉检测分析预警系统包括摄像机标定模块、人群聚集检测模块、人群聚集管控模块和人群聚集事件发布模块；

所述的摄像机标定模块用于为计算人群密度和人群的聚集面积做好准备，采用张正友的平面标定方法，通过标定得到图像中的每个像素点与目标设施中实际面积之间的对应关系；

所述的人群聚集检测模块，包括基于Fast R-CNN人体对象检测单元、光流法人体运动状态检测单元、人群聚集判断单元和人群密度计算单元；

所述的人群聚集管控模块用于根据人群密度、运动向量值、持续时间量化指标数据的不同组合来识别和判定各种人群行为异常，并根据不同的人群行为异常做出相应的预警方案；

所述的人群聚集事件发布模块用于将人群异常行为视觉检测分析结果及相应的预警方案用WebGIS的方式进行发布，并推送报警至管理者或决策者。

2.如权利要求1所述的基于深度卷积神经网络的人群异常行为视觉检测及分析预警系统，其特征在于：所述的基于Fast R-CNN人体对象检测单元用于检测在视频图像中的所有人体对象，采用深度卷积神经网络快速分割出目标设施内的人体对象并给出这些人体对象在目标设施内所占的空间位置信息；

使用的人体对象分割及定位由两个模型组成，一个模型是生成RoI的选择性搜索网络；另一个模型是Fast R-CNN人体对象目标检测网络；

选择性搜索网络，即RPN；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；为了生成区域建议框，在最后一个共享的卷积层输出的卷积特征映射上滑动小网络，这个网络全连接到输入卷积特征映射的n×n的空间窗口上；每个滑动窗口映射到一个低维向量上，每个特征映射的一个滑动窗口对应一个数值；这个向量输出给两个同级的全连接的层；

在每一个滑动窗口的位置，同时预测k个建议区域，所以位置回归层有4k个输出，即k个包围盒的坐标编码；分类层输出2k个包围盒的得分，即对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层；k个建议框被相应的k个称为anchor的建议框参数化；每个anchor以当前滑动窗口中心为中心，并对应一种尺度和长宽比，使用3种尺度和3种长宽比，这样在每一个滑动位置就有k＝9个anchor；

为了训练RPN网络，给每个anchor分配一个二进制的标签，以此来标注该anchor是不是人体对象目标；然后分配正标签给这两类anchor：(I)与某个真正目标包围盒，即Ground Truth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重叠的anchor；(II)与任意GT包围盒有大于0.7的IoU交叠的anchor；注意到一个GT包围盒可能给多个anchor分配正标签，分配负标签给与所有GT包围盒的IoU比率都低于0.3的anchor；非正非负的anchor对训练目标没有任何作用，则弃用；

遵循Fast R-CNN中的多任务损失，最小化目标函数；对一个图像的损失函数定义为：

L({pi},{ti})=1NckΣiLcls(pi,pi*)+λ1NregΣipi*Lreg(ti,ti*)---(1)]]>

这里，i是一个anchor的索引，p_i是anchor是第i目标的预测概率，如果anchor为正，GT标签就是1，如果anchor为负，就是0；t_i是一个向量，表示预测的包围盒的4个参数化坐标，是与正anchor对应的GT包围盒的坐标向量；λ是一个平衡权重，N_cls是cls项的归一化值为mini-batch的大小，N_reg是reg项的归一化值为anchor位置的数量；分类损失函数L_cls是两个类别，即人体对象目标与非人体对象目标的对数损失：

Lcls(pi,pi*)=-log[pi*pi+(1-pi*)(1-pi)]---(2)]]>

对于回归损失函数L_reg，用以下函数定义：

Lreg=(ti,ti*)=R(ti-ti*)---(3)]]>

式中，L_reg为回归损失函数，R是鲁棒的损失函数，用公式(4)计算smooth L₁；

smoothL1(x)=0.5x2if|x|<1|x|-0.5otherwise,---(4)]]>

式中，smooth_L1为smooth L₁损失函数，x为变量；

在输入图像经过深度卷积神经网络后得到特征图，依据特征图以及RPN网络则得到相应的RoIs，最后则通过RoI池化层；输入是N个特征映射和R个RoI；N个特征映射来自于最后一个卷积层，每个特征映射的大小都是w×h×c；每个RoI是一个元组(n,r,c,h,w),其中，n是特征映射的索引，n∈(0,1,2,...,N-1)，r,c是左上角坐标，h,w分别是高和宽；输出则由最大池化得到的特征映射，该层的作用主要有两个，一是将原图中的RoI与特征图中的块对应起来；另一个是将特征图下采样为固定大小，然后再传入全连接。