[发明专利]基于姿态估计的全景监控下人体异常行为识别报警系统及方法

权利要求书

1.一种基于姿态估计的全景监控下人体异常行为识别报警方法，包括如下步骤：

步骤1：获取全景监控视频，将视频以RTSP流的形式发送到服务器；

步骤2：使用VGG网络提取视频中图像的特征；

步骤3：使用openpose算法对步骤2中的图像特征进行姿态估计，获取人体的身体加足部25个关键点坐标；

步骤4：选择步骤3中身体的18个关键点坐标构建时空图模型；

步骤5：对步骤4中构建的时空图模型进行时空图卷积操作，识别视频中每个人的行为；

步骤6：判断步骤5中识别出的行为中是否包含异常行为，若不包含异常行为则返回步骤2继续执行；若包含异常行为则继续执行下一步；

步骤7：本地主机通过声音报警，并通过阿里云的短信服务向不在现场的管理者发送报警短信进行提醒；

步骤8：本地监控者听到报警后可通过本地电脑显示器直接查看现场的情况，远程管理者接收到报警短信之后可通过手机APP或网页浏览器查看现场的情况；

步骤1中，全景监控设备通过网线与本地服务器相连，以RTSP流的形式将视频实时发送到服务器；步骤2中，使用VGG-19网络的前10层获取图像的特征，作为姿态估计网络的输入；步骤3中，姿态估计是自底向上的算法，先检测出所有人的骨骼关键点，再将关键点进行连接形成图，最后通过图优化的方法剔除错误连接，实现多人姿态估计；步骤4中，选取步骤3中获取的身体部位的18个关键点坐标，根据人体的自然连接与时序关系构建时空图模型；时空图模型有两种类型的边，一种是空间边，建立在每一帧人体骨架的自然连接点上，另一种是时序边，将连续两帧中相同节点连接起来，将行为序列的时间信息和空间信息整合起来；步骤5中，对步骤4构建的时空图模型进行时空图卷积操作；在进行卷积操作之前，引入注意力机制；在大规模图中由于节点较多，复杂的背景噪声会对图卷积性能产生不良影响；注意力模型更巧妙地利用图节点之间的相互联系，区分联系的层级，能够增强任务中需要的有效信息；表现在数学上就是某些属性拥有更高的权重，是一种加权平均；图卷积的核心思想是利用边的信息对节点进行聚合，从而生成新的节点表示；空间卷积部分，类比于图像的卷积，通过自定义的卷积核设计策略，使得卷积核直接被应用在图节点和它的邻居节点上，从而限制每一个滤波器只应用到一个节点的一个邻域；根据自定义卷积策略，重新定义采样函数和权重函数；时间卷积部分，由于形状固定，可以使用传统的卷积层完成时间卷积操作；最后，使用SoftMax分类器得到对应的动作类别；步骤6中，对步骤5中识别的动作类别与规定的异常行为相匹配，若未出现正确匹配，则返回步骤2，判断下一时间序列是否有异常行为发生；若出现正确匹配，则继续向下执行；步骤7中，步骤6出现了正确匹配，即出现了异常行为；本地的主机开始播放报警语音，并通过网络向阿里云短信服务平台发送通知，其中，阿里云短信服务平台已经设置好了接收短信的人员以及短信内容，此种情况下，本地安保人员和远程的管理者都能及时的收到异常行为的预警信号；步骤8中，相关人员通过步骤7接收到了报警信息，本地的安保人员可以即刻通过查看对应位置的全景摄像机全面掌握现场的情况，进行相关的人员部署与事件处理；同时，远程的管理者在收到报警短信之后，通过自己的手机APP或者网页浏览器查看现场情况。

2.根据权利要求1所述的基于姿态估计的全景监控下人体异常行为识别报警方法，其特征在于：步骤8中，远程全景视频的传输流程为：监控视频通过RTSP流的形式发送到电脑端，电脑端通过使用OBS推流工具将视频流推送到已经在亚马逊云上部署好的流媒体服务器，同时，在云端还部署了全景视频分发服务器；全景视频分发软件在收到流媒体服务器的视频流之后，通过视频分发功能发送给客户端相应视角的视频，客户端可通过滑动手机屏幕来转换观看视角，实时全面的扫描观看现场的全部视野范围；亚马逊云端全景视频分发服务器的功能为建立球模型，将流媒体服务器发送过来的视频流在球模型上进行投影，此种情况下将客户端虚拟到球模型的中心，类似于将客户虚拟到现场；客户端通过滑动改变视角，发送改变视角后的坐标到亚马逊云服务端，云服务端通过解析坐标在球模型上截取相应窗口大小的视频，编码压缩后发送给客户端，客户端通过解码后显示；远程客户端包括手机APP和网页客户端，都能实时播放RTSP流。