[发明专利]复杂场景下基于人工智能的变电站内异常行为识别与检测方法

权利要求书

1.一种复杂场景下基于人工智能的变电站内异常行为识别与检测方法，其特征在于，该检测方法包括以下步骤：

S1：对监控视频进行预处理，得到静态图；

S2：使用基于深度学习的目标检测算法FPN网络检测人体区域：利用候选框将人体区域标识出来，并对原图像进行裁剪处理作为待识别图像；

S3：将待识别图像进行预处理操作，产生二值化图像；

S4：将所述二值化图像作为CPN网络的输入进行人体骨架的关键点检测：生成人体骨架关键点图像；

S5：将人体骨架关键点图像与步骤S1得到RGB单帧静态图融合，输入到LSTM网络进行分类识别，判断是否为异常行为。

2.根据权利要求1所述的一种复杂场景下基于人工智能的变电站内异常行为识别与检测方法，其特征在于，所述步骤S1对视频预处理的过程具体包括：提取视频中的每帧图像，得到RGB单帧静态图。

3.根据权利要求1所述的一种复杂场景下基于人工智能的变电站内异常行为识别与检测方法，其特征在于，在所述步骤S2对人体检测之前还包括对网络进行训练：

使用COCO人体检测的数据集，并过滤重复、模糊数据后作为FPN网络的训练集。

4.根据权利要求3所述的一种复杂场景下基于人工智能的变电站内异常行为识别与检测方法，其特征在于，所述步骤S2对人体检测的过程具体包括：

S21：使用Mask RCNN中的ROI Align替换FPN的ROI Pooling，将ROI Pooling的反向传播公式

替换为ROI Align的反向传播公式

在公式(I)中，x_i表示池化前特征图上的像素点，y_rj表示池化后的第r个候选区域的第j个点，i^*(r,j)表示点y_rj像素值的来源；

在公式(II)中，表示一个浮点数的坐标，表示两点x_i与之间的距离，Δh和Δw表示x_i与横、纵坐标的差值，这里作为双线性内插的系数乘在原始的梯度上；

S22：训练FPN网络；

S23：将图像输入FPN网络检测人体区域；

S24：网络将带有候选框的图像输出，按照候选框切割图像，得到只有人体区域的待识别图像。

5.根据权利要求1所述的一种复杂场景下基于人工智能的变电站内异常行为识别与检测方法，其特征在于，所述步骤S3对待识别图像预处理方法包括：

S31：对待识别图像灰度化处理：从RGB颜色空间转变为GRAY颜色空间转变公式为：

Gray(i,j)＝0.299*R(i,j)+0.587*G(i,j)+0.114*B(i,j) (III)

公式(III)中R、G、B代表相应的红绿蓝色彩空间的值；

S32：使用OTSU二值化处理图像。

6.根据权利要求1所述的一种复杂场景下基于人工智能的变电站内异常行为识别与检测方法，其特征在于，所述步骤S4对人体骨架关键点检测包括：

其中，包括CPN网络，所述CPN网络包括两个子模块——GlobalNet和RefineNet；

S41：GlobalNet基于ResNet网络结构，分为四层通道对图像进行特征提取，并在上采样后，两层特征相加之前，再进行一次1*1的卷积操作，用于对易检测部位进行识别成可见容易关键点，采用的损失函数为L2loss，即：

其中，n表示关键点的个数，y(x)表示预测值，a^L(x)表示真实值；

S42：基于GlobalNet生成的特征金字塔表示，RefineNet利用不同层的特征信息，并通过采用HyperNet的思想进行上采样和链接，整合不同层的特征信息：

对于难以辨识的关键点：利用之前GlobalNet检测出的可见容易关键点，放大该区域，使用增大感受野来估计关键点位置；

对于未检测出的不可见关键点：使用上下文内容，即各个已知点进行预测。

7.根据权利要求1所述的一种复杂场景下基于人工智能的变电站内异常行为识别与检测方法，其特征在于，所述步骤S5对异常行为识别的过程还包括：

S51：首先将违规行为、危险行为进行分类：在步骤S1得到的图像中中每类至少标记一组连续动作或单独动作，为其打上标签；

S52：将步骤S1的大量图像数据和步骤S51中得到的少量标注数据与人体骨架关键点图像进行融合，利用弱监督学习和小样本学习的方法训练该融合后的数据用到的LSTM网络；

S53：利用LSTM网络的记忆性将连续的图片串联起来形成一个可识别的连续动作，能更好地对行为进行识别；

S54：最后用softmax分类器进行分类，辨别正常行为与异常行为。