[发明专利]一种基于二维骨架信息的攻击性行为识别方法

说明书

本发明公开了一种基于二维骨架信息的攻击性行为识别方法，本发明属于计算机视觉和模式识别领域，所述方法针对双人交互式攻击性行为识别；使用OpenPose获取二维骨架信息序列，并对二维骨架信息序列的人体自遮挡和缺失值进行数据预处理；然后对人体行为进行特征向量构建，单人行为特征向量包括帧间人体重心位移变化和运动时骨骼旋转角变化，交互特征向量包括帧间人体重心位移变化、帧间人体旋转角变化和交互“安全距离”；采用w‑lightGBM算法对单人行为特征向量进行多分类，采用lightGBM算法对交互特征向量进行二分类并将结果显示；通过监控人体行为变化实现对视频中的目标的攻击性行为的识别，为社会治安及公共安全提供有效的视频分析方法。

技术领域

本发明属于计算机视觉和模式识别领域，具体涉及一种基于二维骨架信息的攻击性行为识别方法，所述方法能够根据人体运动时骨骼点之间的变化特征和人体位移特征对人体行为进行识别。

背景技术

计算机视觉的行为分析是图像处理、模式识别等领域的重要研究内容之一，在公共安全上有广泛的应用前景，但对某些特定事件的识别，如公共场暴力冲突等，研究相对较少。这些行为在监控场景中可能非常有用，比如公共场所、监狱。因此攻击性行为识别成为了计算机视觉研究领域内重点研究方向之一。

目前基于视频的攻击性行为的识别大致分为两类：基于硬件传感器的交互式行为识别和基于软件的人体特征提取的交互式行为识别。依赖于传感器的监控装置的价格较高，需要对监控器进行额外的设置，如微软三维体感摄像机Kinect。Kinect可以通过传感器获取空间三维人体骨架，实现了人体骨骼信息的跟踪，进而可以方便的进行人体动作特征提取。但是Kinect的应用还没有普及，很多公共场合都没有安装Kinect传感器监控摄像头。因此，采用软件的方式实现对普通摄像头获取的视频图像的行为分析将会拥有广泛的发展前景。随着计算机科学的不断发展，越来越多的技术能够实现从二维图像中识别出行人的骨架，2017年卡耐基梅隆大学的研究人员公开了二维人体骨架信息识别项目OpenPose，实现对监控视频下的目标人物的实时跟踪，并且在RGB视频中捕捉到COCO模型的人体关节点(Joints)信息。根据人类对他人行为感知结果表明，在进行攻击性行为识别中运动特征是至关重要的，而人体骨架信息能够很好的反应人体运动信息。

发明内容

针对现有攻击性行为识别研究较少，对摄像头的局限性的问题，本文发明了一种基于二维骨架信息的攻击性行为识别方法，采用普通摄像头中的视频流数据构建单人特征向量和交互特征向量实现对人体攻击性行为特征的识别。为此，需要解决的关键技术问题包括：获得完整的人体二维骨架信息；基于人体运动特征的单人特征向量和交互特征的构建，通过多人人体特征向量对人体攻击性行为进行分类和识别。为实现上述目的，本发明的具体技术方案如下：

1、一种基于二维骨架信息的攻击性行为识别方法，其特征在于，所述方法包括以下步骤：

步骤1：获取视频流中的二维骨架信息序列；

步骤2：对二维骨架信息序列进行数据预处理，具体为：

首先，对人体自遮挡进行人体对称处理，保证人体姿态特征完整；其次，对骨架缺失点进行预测，计算公式为(1-4)：

v_befor＝y_j(j＝0,1...,i-1)   (2)

v_after＝y_j(j＝i+1,i+2,...,n)   (3)