[发明专利]一种基于人体骨骼关键点的电力作业异常行为识别方法

权利要求书

1.一种基于人体骨骼关键点的电力作业异常行为识别方法，其特征在于：包括如下步骤：

步骤S1：获取电力作业人员存在异常行为的数据集；

步骤S2：使用目标检测算法对视频图像进行目标人员检测，再使用目标跟踪算法对检测到的目标人员进行跟踪；

步骤S3：对步骤S2中的目标人员检测框使用AlphaPose框架进行人体骨架信息的提取；

步骤S4：对捕获的视频图像逐帧处理，并构建工作人员的人体骨架模型，把它们按照时间的先后顺序排列，以得到骨架序列，再依据所得到的骨架序列建立时空图，并对其采取时空图卷积操作，得到目标人员的行为特征，将所得到的行为特征进行分类，判断出作业行为是否符合规范。

2.根据权利要求1所述的一种基于人体骨骼关键点的电力作业异常行为识别方法，其特征在于：所述步骤S2中的具体步骤为：

步骤S21：利用融合CSPNet的YOLOv5目标检测算法对图像进行人员检测，得到目标人员边界框；在网络主支上采用两种跨阶段局部网络的结构；在神经网络的输入端，采用Mosaic数据增强的方式，以随机缩放、随机裁剪、随机排布的方式对图片进行拼接；在神经网络的BackBone部分中采用Focus结构，并且采用CSPNet_1的结构，采用跨阶段的方法，增加BackBone部分的梯度路径；同时还在Neck部分中采用与BackBone部分不同CSPNet结构，仅仅运用普通的卷积操作，加强特征的融合；

步骤S22：采用DeepSort算法进行多目标跟踪；将YOLOv5检测到的目标人员信息导入至DeepSort框架中，并将目标图像的每一帧信息都与上一帧进行级联匹配，最终得到能够准确跟踪电力作业人员的目标跟踪模型。

3.根据权利要求1所述的一种基于人体骨骼关键点的电力作业异常行为识别方法，其特征在于：所述步骤S3中的具体步骤为：

步骤S31：Alphapose提出一种区域多人姿态估计RMPE框架；RMPE框架由三个新组件组成：带并行SPPE的对称STN、参数姿态NMS和姿态引导建议生成器PGPG；

步骤S32：PGPG通过对预先给定的人体姿势的边界框建议的条件分布进行学习，进而大量论证训练数据；因为对称STN和并行SPPE的使用，SPPE开始接受处理人类定位错误；

步骤S33：使用参数姿态NMS来减少冗余检测。

4.根据权利要求1所述的一种基于人体骨骼关键点的电力作业异常行为识别方法，其特征在于：所述步骤S4中的具体步骤为：

步骤S41：在含有N个关节的T帧骨架序列上构建时空图G＝(V,E)；骨架序列中的所有关节被节点集V＝{v_ti|t＝1,…,T,i＝1,…,N}包含，边集E包括两个子集，一个是用于描述每一帧内部骨架连接的空间边集E_S＝{v_tiv_tj|(i,j)∈H}，其中H表示一组自然连接的人体关节，另一个是描述连续帧中连接相同关节的时间边E_F＝{v_tiv_(t+1)i}；

步骤S42：通过对时空图进行卷积运算，并在图形上生成更高级别的特征图并对其进行归类，从而判断出目标人物有无异常行为的具体措施有：先将节点集、空间边、时间边做正则化，再将其送入时空图卷积网络中；所述时空图卷积网络包括九层时空图卷积，前三层输出64通道，中间三层输出128通道，最后三层输出256通道，一共有9个时间卷积核，在每一个时空图卷积层使用残差连接，第4、7层的时间卷积层设置为pooling层；将256通道的输出进行全局pooling后得到256维特征向量，并由softmax进行分类，根据分类结果来识别电力作业人员是否存在作业异常行为。