[发明专利]一种基于人体骨架形态与检测目标的动作识别方法

权利要求书

1.一种基于人体骨架形态与目标检测的动作识别方法，其特征在于，包括：

步骤S1：构建图像采集模块采集需监控区域的视频流，并进行视频流预处理，将视频流的比特率和帧率调整为契合所选深度学习模型的帧率，将分辨率做了如下设定：1920x1080分辨率的序列需要7000kbps的码率，640x480分辨率的序列需要1900kbps的码率，352x288分辨率的序列需要800kbps的码率；

步骤S2：利用YOLOv4模型检测出监控区域视频流内的行人和物体种类，并记录物体种类名称，具体步骤如下：

S2.1：物体数据集的建立：对需检测动作中所包含除人体以外的物体数据集进行收集分类；设定动作设为M，则和动作M相关的物体设为O_i^M依次排列，并将物体信息将其制作成标准VOC数据集；

S2.2：将上述步骤S2.1中制作好的物体VOC数据集输入到标准的YOLOv4模型中进行训练；YOLOv4模型中，运用了卷积的级联结构，网络的输入层设计为448*448；在神经网络中逻辑回归的代价函数为：

其中h_θ是sigmoid函数，作为激活函数在网络中；当物体检测的准确率达到95％以上时，模型训练完毕；

S2.3：使用上述步骤S2.2训练好的YOLOv4模型对传入的视频流进行检测，当检测到步骤S2.1中物体时，将物体信息保存记录；

步骤S3：通过OpenPose将视频流内识别到的人体目标图像进行人体骨架特征提取、正负样本制作和训练动作分类器模型；

步骤S4：训练好的动作分类器模型对视频流内的人体动作进行检测，当识别到有设定检测动作的时候，将设定动作信息M、动作置信度x⁽ⁱ⁾保存记录，并与步骤S2.3记录的物体信息进行关联度匹配，得到物体权重W_j，最终输出的动作置信度为：其中x⁽ⁱ⁾是OpenPose输出的动作置信度，O_j是步骤S2.3里YOLOv4检测出的第j个物体，w_j⁽ⁱ⁾是物体j所对应的权重；

步骤S5：决策警告，当检测到所需检测动作时，将信息发送至后台管理。

2.根据权利要求1所述的一种基于人体骨架形态与目标检测的动作识别方法，其主要特征在于步骤S3所述的人体骨架特征提取、正负样本制作和训练动作分类器模型方法，其具体步骤如下：

步骤S3.1：收集所需检测动作的正负样本数据集，并用OpenPose将正负样本数据集的骨架特征信息提取出来；骨架特征通过前馈网络预测出图片中人体部位置信度S，同时预测出部位的亲和力向量场L(人体骨骼各个关节的关系)，集合S＝(S1,S2,SJ)J表示每个骨骼关节点有J个身体部位置信图；集合L(L1,L2,LC)每个肢体有C个部位亲和力向量场，得到集合J和L后使用Greedyalgorithm算法将人体骨骼关节点信息找出；

步骤S3.2：使用步骤S3.1中制作的人体骨架特征数据集训练基于卷积神经网络的ResNet-56动作分类器模型，当正确识别率达到90％以上时，训练结束。