[发明专利]一种基于人体骨架形态与检测目标的动作识别方法

说明书

本发明提供了一种基于人体骨架形态与目标检测技术结合的动作识别办法，首先对监控区域的视频流进行初步的预处理，将视频流的帧数、码率、分辨率进行调整；然后利用YOLOv4模型对行人和物品种类进行检测，将检测到的物品种类和行人的位置信息记录保存，接着使用OpenPose提取人体骨架信息，后将人体骨架信息根据所需检测动作制作成正负样本数据集并训练动作分类器模型；分类器输出的动作信息和物品信息进行关联度匹配后输出最终的动作置信度。将模型运用于监控视频流中，当检测到设定动作时，发送动作信息和行人坐标信息至后台管理处，从而提高监控的智能化水平。

技术领域

本发明涉及属于计算机智能学习领域，具体地说，涉及一种基于 OpenPose和YOLOv4结合地人体动作识别方法。

背景技术

通过人工智能地方法来检测人们正在干的事或者检测人们的动 作含义是近年来的热点话题。在计算机智能学习领域中，通过人体姿 态来识别人体动作是目前的主流方法。人体姿态算法中CPN(Cascaded PyramidNetwork)检测速度过慢，实际运用中有滞后性，poseNet虽 然检测速度快但是准确率较低，只有OpenPose是速度与准确率二者兼得，所以本发明基于OpenPose来做人体的动作识别。

目前基于人体姿态识别动作的技术有很多，通过OpenPose将人 体骨架信息提取后用于动作识别模型是较为常见的一种方法， OpenPose不需要太高大上的硬件来支撑，相对于深度体感相机，如 Kinect有着较大的普适性。更容易受到更多人的使用，只需要简单的具有摄像功能的机器都可以运用到OpenPose。但是如今的视频流 大多是不是从理想角度拍摄得到，有时人体会太小或者角度不正而导 致精度的下降和误报率上升。单纯基于OpenPose的动作识别技术， 例如一种基于OpenPose的吃东西行为识别方法CN201911150648.6， 基于OpenPose的击剑动作获取方法及计算机存储介质CN201810338998.4等，上述两篇专利都是基于只基于OpenPose来提 取信息就完成了动作识别的模型训练，一方面采集动作姿态训练样本 要求过大，执行层面较为困难，另一方面在不同的运用环境模型的检测精度会有所下降，难以广泛运用。

因此一个可在多数场景可以被运用到的人体动作识别方法是非 常有市场且有必要的。本专利在不同的角度下都可以利用环境中的物 品信息和人体信息的双重检测来对人体动作进行更精确的识别，在提 高了检测的精度的同时，对检测端的硬件资源要求也不高，可运用范 围较广。

发明内容

本发明基于目前动作识别模型大多都是单调的OpenPose或者价 格高昂的深度学习相机并且还存在精确度不够等问题，提供了一种基 于人体骨架形态与目标检测技术结合的动作识别办法，在基于 OpenPose提取到人体骨架特征信息后，再加入YOLOv4的目标检测技 术，二者相互结合，不需要高昂的硬件设备也可以提高检测精度。

本发明具体内容如下：一种基于人体骨架形态与检测目标的动作 识别方法，包括了视频流的预处理、行人和物品检测、骨架信息提取 及其模型训练、置信度判断和决策警告五个步骤：

步骤S1：构建图像采集模块采集需监控区域的视频流，并进行 视频流预处理；

步骤S2：利用YOLOv4模型检测出监控区域视频流内的行人和物 体种类，并记录物体种类名称；

步骤S3：通过OpenPose将视频流内识别到的人体目标图像进行 人体骨架特征提取、正负样本制作和训练动作分类器模型；

步骤S4：训练好的动作分类器模型对视频流内的人体动作进行 初步识别，YOLOv4识别到的物体和所识别动作进行匹配，根据二者 的匹配相关度调整动作的置信度。

步骤S5：决策警告，当检测到所需检测动作时，将信息发送至 后台管理；

为了更好的实现本发明，进一步的，所述步骤S1，具体还包括 以下步骤：