[发明专利]行人监控和行为识别的方法和系统

权利要求书

1.一种行人监控和行为识别的方法，其特征在于：包括如下步骤:

（S1）对体感视频设备进行视频采集，获取相应的深度图像数据流和彩色图像数据流；

（S2）定位人体关节的三维坐标值；

（S3）区分人体和非人体并分割多人遮挡进入时的单个人体；

（S4）建立人体三维模型；

（S5）获取人体的运动参数；

（S6）获取人体的行为特征并反馈处理结果;所述步骤（S6）中，人体的行为特征分为时间特征和动作特征，时间特征描述的时间包括：逗留、徘徊，动作特征包括：尾随、越界、打架、奔跑以及跌倒，时间特征通过计算行人在监控区域或业务区域的滞留时间来获得，动作特征通过定义人体骨骼点的运动和相对关系来决定；判断监控区域内人员的行为状态，若识别为报警行为，则通过语音报警装置播报危险提示，将报警事件上传至客户中心端，并通过4G短信模块以短信形式发送给处理单位或个人；所述步骤（S2）中：先建立系统空间坐标系，通过彩色图像和深度图像进行双目标定，然后在视频流中画出监控区域的地面部分，进行地面标定，得到系统坐标-地面坐标转换矩阵，建立地面坐标系；以系统空间坐标系为基准来确定人体骨骼关键关节的系统空间坐标，建立人体骨骼与系统空间的转换矩阵，确定人体骨骼关节的系统空间坐标。

2.根据权利要求1所述的行人监控和行为识别的方法，其特征在于，所述步骤（S3）中，利用系统坐标-地面坐标转换矩阵，将系统坐标系下的三维点云人体进行地面投影，得到人体的地面投影区域；分割多行人进入时造成的互相遮挡和区域连接，并区分人体和非人体。

3.根据权利要求1所述的行人监控和行为识别的方法，其特征在于: 所述步骤（S4）中，利用检测到的人体骨骼点和地面投影对人体进行三维建模，确定人体各部分的物理位置和相对关系，确定人体在监控区域所处的位置以及上半身的深度信息分布以便建立的人体三维模型。

4.根据权利要求1所述的行人监控和行为识别的方法，其特征在于: 所述步骤（S5）中，分析行人一定时间段内的行为特征并与预设的事件特征进行比较，符合预设的事件特征时自动反馈相应的处理结果。

5.一种行人监控和行为识别的系统，其特征在于，包括:

体感视频设备和内设预警模块的处理器单元；所述体感视频设备通过USB接口连接所述处理器单元；所述预警模块进行图像采集、双目标定和地面标定、人体骨骼运动定位、人体点云地面投影、人体三维建模、人体运动跟踪、人体运动识别和事件处理; 人体的行为特征分为时间特征和动作特征，时间特征描述的时间包括：逗留、徘徊，动作特征包括：尾随、越界、打架、奔跑以及跌倒，时间特征通过计算行人在监控区域或业务区域的滞留时间来获得，动作特征通过定义人体骨骼点的运动和相对关系来决定,判断监控区域内人员的行为状态，若识别为报警行为，则通过语音报警装置播报危险提示，将报警事件上传至客户中心端，并通过4G短信模块以短信形式发送给处理单位或个人；人体三维建模具体为：定位人体关节的三维坐标值时，先建立系统空间坐标系，通过彩色图像和深度图像进行双目标定，然后在视频流中画出监控区域的地面部分，进行地面标定，得到系统坐标-地面坐标转换矩阵，建立地面坐标系；以系统空间坐标系为基准来确定人体骨骼关键关节的系统空间坐标，建立人体骨骼与系统空间的转换矩阵，确定人体骨骼关节的系统空间坐标。

6.根据权利要求5所述的行人监控和行为识别的系统，其特征在于，所述行人监控和行为识别的系统还包括：报警装置、信息处理模块和服务器单元；所述处理器单元分别连接所述报警装置、信息处理模块和服务器单元。

7.根据权利要求5所述的行人监控和行为识别的系统，其特征在于: 所述体感视频设备安装在监控区域的斜上方，固定该体感视频设备的支架下端能够上下、左右、前后移动；所述体感视频设备进行360度转动。

8.根据权利要求5所述的行人监控和行为识别的系统，其特征在于:所述预警模块分析行人自进入监控区域到离开这一时间段的行为特征，并与预存的报警事件特征比较，符合预设的报警事件特征时自动通过报警装置进行报警，将报警事件信息上传至服务器单元，并通过信息处理模块发送给处理单位或个人。