[发明专利]一种电力生产违规行为检测方法、终端设备及存储介质

说明书

本发明涉及一种电力生产违规行为检测方法、终端设备及存储介质，该方法中提出了一种时空间信息融合的网络结构ST‑SlowFast。该网络在SlowFast网络结构的基础上构建了第三条基于时空间注意力机制的辅助通道，实现了不同帧率采样流之间细节特征的提取和强化，并通过注意力机制捕捉局部动作变化，增强了全局空间特征表示。本发明解决了现有行为检测方法精确率较低的问题，保证了电力生产场景中的安全施工。

技术领域

本发明涉及电力生产领域，尤其涉及一种电力生产违规行为检测方法、终端设备及存储介质。

背景技术

随着智能电网的全面推进以及电网基础设施的快速发展，电力生产中如何保证施工人员的安全性成为了电力事业建设的关注重点之一。由于电力作业的特殊性，施工人员需在高空带电的高危环境下进行专业性工作，在这个情况下再小的安全隐患都会导致很严重的后果。因此，除了施工人员需严格按照操作手册进行操作，还专门设立了安监部门以及现场安全员以提供安全保障。采用安全员在场监督的管理方法，虽然在一定程度上能够督促施工人员遵守安全性防护规则(安全穿戴或是安全性操作规范)来降低施工风险，但在施工现场配备安全员耗时耗力，同时也无法保证24小时全天候的安全监控。

近年来，由于高清监控的全面化普及以及深度学习技术的快速发展，以高清摄像头作为媒介的计算机视觉技术为工业界的实时检测应用提供了广泛的解决方案。

动作行为检测作为计算机视觉领域中的传统任务一直受到学术界和工业界的青睐，其目的是使用计算机的技术对视频数据进行处理、分析和理解，判断出一段视频任意时间片段存在的人类行为动作，这些行为包括如拍手、击掌等原子动作，还有如跳跃、拥抱等以多个原子动作结合而成的短时动作，以及像打篮球、踢足球、骑单车等长时动作。

基于深度学习的动作识别方法主要可分为两种，第一种是基于双流卷积的方式利用两个不同的特征提取网络分别对空间信息和时间信息进行建模，这种解决方案虽然针对一些简单的原子动作能够取得较好的结果，但是对于短时动作和长时动作检测的准确率较低，主要原因在于其中每一个通道的特征提取时只关注于时间或是空间单一维度的信息；第二种是利用三维卷积直接在时间维度和空间维度上同时进行建模，这种方法相较于双流卷积可以同时在两个维度上进行特征的提取，但三维网络一般考虑比较短的时间间隔，面对长时动作时往往难以通过重要的局部动作变换来进行行为的判断。

发明内容

为了解决上述问题，本发明提出了一种电力生产违规行为检测方法、终端设备及存储介质。

具体方案如下：

一种电力生产违规行为检测方法，包括以下步骤：

S1：采集电力生产场景图像构建训练集；

S2：构建违规行为检测模型，通过训练集对模型进行训练；

模型的主体网络采用SlowFast网络，在SlowFast网络的慢通道和快通道之间添加以时空通道，慢通道与快通道的每一层输出均输入时空通道进行时空注意力融合；第一层时空通道将时空注意力融合结果作为该层的输出；第一层之外的其它层时空通道将时空注意力融合结果与前一层时空通道的输出相加作为该层时空通道的输出；最后一层时空通道的输出与最后一层慢通道和快通道的输出共同输入全局平均池化层；

S3：通过训练后的模型对待检测电力生产场景图像进行违规行为检测。

进一步的，步骤S1中采集的电力生产场景图像来自视频剪辑片段，通过对视频剪辑片段预处理得到；预处理过程包括：将视频以固定时间长度进行分割；从分割后的每组视频帧图像中选取一帧作为关键帧进行标注；将标注的关键帧进行格式转换，并根据目标跟踪方法添加身份标签。

进一步的，慢通道、快通道和时空通道采用的网络结构均为ResNet-101，输入层、输出层以及33个ResNet模块。