[发明专利]基于姿态估计的全景监控下人体异常行为识别报警系统及方法

说明书

本发明公开了一种基于姿态估计的全景监控下人体异常行为识别报警系统及方法，属于智能监控系统技术领域；利用全景摄像头实现360度视频的获取，基于深度学习的人体姿态估计算法提取人体的骨骼关键点坐标作为人体行为识别算法的特征输入；利用坐标组成包含空间信息和时间序列信息的时空图模型，对时空图进行多阶段的时空图卷积操作，提取高级特征，最后用SoftMax分类器进行行为分类，得到行为结果并判断是否为异常行为。本发明具有采集视野范围广、无盲区的特点，可实时处理全景监控系统下的人体异常行为检测，在异常行为刚刚发生时及时本地报警，且远程的管理者能够及时获得报警短信，同时可使用手机实时查看现场情况。

技术领域

本发明涉及一种基于姿态估计的全景监控下人体异常行为识别报警系统及方法，属于智能监控系统技术领域。

背景技术

近年来，公共场所发生的暴力事件让社会各界意识到了安防监控的必要性。进入21世纪以来，随着硬件技术以及机器视觉技术的发展，监控行业在我国如雨后春笋般快速崛起，如今，在众多的公共场所，例如火车站、商场、校园、银行等人口流动量大的地方，都安装了用于安防监控的摄像头。这样的措施，不仅有效的保障了人民的人身财产安全，同时，对于维护社会治安、打击违法犯罪，也作出了突出的贡献。

传统的监控系统大多是单目摄像头，主要功能是对监控区域内视频进行播放与存储，通过人为的观察实现视频中信息的采集与判断，往往会出现紧急事件发现处理不及时，导致事态严重的情况。与单目摄像头相比，全景摄像头具有视野范围广、无盲区的特点。

对行为识别的研究可追溯到1975年，Johansson在实验中发现，人体的运动可以通过主要关节点的移动来描述，提出12点人体模型，通过关键点的组合与追踪，实现通过人体关节点的运动来识别行为。针对简单行为识别方法的研究，Sukthanker等人提出了层级均值漂移算法，利用剪影的3D时空体与光流信息相结合，对人体动作进行建模。针对较为复杂行为的识别方法，Krizhevsky等人提出了马尔科夫网与一阶逻辑相结合的马尔科夫逻辑网络，利用马尔科夫逻辑网络对子行为之间的时空关系进行描述。在真实场景下的行为识别，存在遮挡、光照变化等问题，为了获得更具表达性、区分性和鲁棒性的行为识别，Laptev等人提出了基于局部兴趣点轨迹的行为识别方法，将时空兴趣点的局部特征检测法与KLT跟踪器结合，获取兴趣点的运动轨迹。Wang等人进一步提出了基于稠密轨迹的行为识别方法，在每帧中采样很多特征点，利用光流场对特征点进行跟踪，利用轨迹的表观信息和轨迹之间的时空信息对轨迹进行表达。

传统算法中表现较好的算法是IDT(Improve Dense Trajectory)，利用光流场对视频序列中每一帧的兴趣点进行跟踪，来获取视频序列中的轨迹，再根据轨迹计算特征，并对特征进行编码，训练支持向量机，实现人体行为识别。2014年，受卷积神经网络在图像分类领域取得成功的启发，研究者开始把卷积神经网络用于视频分类，卷积神经网络利用局部感受野、权值共享以及空间聚合来实现对视频序列的特征表达。2015年以来，陆续有研究者提出新型的算法，其中经典的包括Two-Stream、C3D(Convolution 3Dimension)、循环神经网络RNN等。

目前，基于深度学习的行为识别技术，从输入形式上可以分为：视频序列、深度图像序列和骨架序列信息。相比于视频序列，深度图像包含了深度几何结构的前景信息，在行为识别任务中可减少光照对识别的影响，但深度图像相较于彩色图片，包含较少的纹理信息和大量的噪声。随着硬件设备发的发展，高清设备得到广泛的应用，基于视频序列的研究更具有普适性，更容易得到推广。基于视频序列的行为识别任务中，通常将视频序列信息分为时域信息和空域信息，在行为表达过程中，时间的动态信息对行为表达具有重要作用。为获取动作的动态信息，研究者提出了对骨架序列进行分析，通过追踪骨架关节点的轨迹获取动作的轨迹曲线，人体的骨骼和关节轨迹对光照和场景变化具有较强的鲁棒性，易于获得。图卷积神经网络将图应用到基于骨架的动作识别任务中，通过利用图卷积的局域性和时间动力学来隐式地学习部位信息，模型容易设计，并且能够更好地学习动作表示。