[发明专利]一种电力生产违规行为检测方法、终端设备及存储介质

权利要求书

1.一种电力生产违规行为检测方法，其特征在于，包括以下步骤：

S1：采集电力生产场景图像构建训练集；

S2：构建违规行为检测模型，通过训练集对模型进行训练；

模型的主体网络采用SlowFast网络，在SlowFast网络的慢通道和快通道之间添加以时空通道，慢通道与快通道的每一层输出均输入时空通道进行时空注意力融合；第一层时空通道将时空注意力融合结果作为该层的输出；第一层之外的其它层时空通道将时空注意力融合结果与前一层时空通道的输出相加作为该层时空通道的输出；最后一层时空通道的输出与最后一层慢通道和快通道的输出共同输入全局平均池化层；

S3：通过训练后的模型对待检测电力生产场景图像进行违规行为检测。

2.根据权利要求1所述的电力生产违规行为检测方法，其特征在于：步骤S1中采集的电力生产场景图像来自视频剪辑片段，通过对视频剪辑片段预处理得到；预处理过程包括：将视频以固定时间长度进行分割；从分割后的每组视频帧图像中选取一帧作为关键帧进行标注；将标注的关键帧进行格式转换，并根据目标跟踪方法添加身份标签。

3.根据权利要求1所述的电力生产违规行为检测方法，其特征在于：慢通道、快通道和时空通道采用的网络结构均为ResNet-101，输入层、输出层以及33个ResNet模块。

4.根据权利要求1所述的电力生产违规行为检测方法，其特征在于：时空注意力融合的方式为，将慢通道的输出和快通道的输出共同输入Spatio Transformer模块，将慢通道的输出和快通道的输出共同输入Temporal Transformer模块，将Spatio Transformer模块的输出结果与Temporal Transformer模块的输出结果相加得到时空注意力融合结果。

5.根据权利要求1所述的电力生产违规行为检测方法，其特征在于：SpatioTransformer模块包括多头交叉注意力层、标准化层、多层感知机层以及残差连接，同时在训练过程中加入Dropout用于防止过拟合；对于输入的不同维度特征，首先通过3D卷积对通道维度和时间维度进行变换，使两者统一；之后采用维度变换的方式把时间维度整合到通道维度中，同时将像素点整合成一维向量的形式。

6.根据权利要求1所述的电力生产违规行为检测方法，其特征在于：TemporalTransformer模块相对于Spatio Transformer模块在多头交叉注意力层前重新对维度进行变化，在不对时间维度进行变化的同时将图像像素点转化为一维向量，并通过注意力机制捕捉像素点变换剧烈的时间帧，从而锁定快通道特征中的重要时间帧。

7.一种电力生产违规行为检测终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～6中任一所述方法的步骤。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～6中任一所述方法的步骤。