[发明专利]一种输变电设备缺陷图像自动识别方法

权利要求书

1.一种输变电设备缺陷图像自动识别方法，其特征在于，包括以下步骤：

(A)作业人员操控无人机，对输变电设备进行巡检，作业人员触发无人机拍照指令，巡检软件就立刻记录当前巡检点位的飞行数据和图像数据；

(B)对采集的图像数据进行预处理，首先对图像进行基于Gamma校正的非线性灰度变化以，构造非线性变换：

s＝cr^γ (0)；

其中，r表示原始图像的灰度级，s表示变换后的灰度级，c和γ为正常数，γ＞1时，输入越亮输出值越加强，即图像变亮，γ＜1时，输入越亮输出值越减弱，即图像变暗；γ＝1时，表示为线性变换，图像亮度不变；因此，提出根据图像的平均灰度值的大小来决定γ的取值：

式(2)中，图像的分辨率为m×n，f(i,j)为点(i,j)上的灰度值；根据与γ的对应关系，带入式(1)即完成了图像的灰度校正；同时，为了增强图像整体对比度，使用直方图均衡化，即调用直方图均衡化函数：

式(3)中，MN为图像像素总数，n_k是灰度为r_k的像素个数，L是图像的灰度级数量，T(r_k)为直方图均衡化函数；通过式(3)，输出图像中像素的灰度值可由输入图像中像素灰度r_k映射为s_k后得到；

最后，采用小波去噪算法对图像进行去噪处理；

(C)通过生产对抗网络对预处理后的图像进行数据增广，扩充图像数据集；

(D)得到扩充后的图像数据集之后，对图像数据集中所有输电线路的杆塔鸟巢缺陷区域、导线断股缺陷区域、导线散股缺陷区域、绝缘子自爆缺陷区域的部分用矩形框进行标注，记录所有的缺陷坐标信息；采用基于Faster R-CNN目标检测网络进行输变电设备缺陷图像的自动识别，Faster R-CNN目标检测网络包含两个网络：区域候选网络RPN和Fast R-CNN检测网络；Faster R-CNN目标检测网络的训练和检测过程通过区域候选网络RPN和FastR-CNN检测网络进行，具体训练过程可分为以下步骤：

S1，输入经过预处理后的输电线路图像样本到CNN网络，输入到CNN网络的图像数据进行卷积运算，得到图像特征图；

S2，提取输入的图像特征图的多个候选区域，区域候选网络RPN使用3*3的卷积核对共享卷积层提供的图像特征图进行卷积运算，获得一个256维的特征向量，代表原始图像中相对应位置的特征；并且为每个滑动窗口给出9种区域建议:以滑动窗口为中心，三种尺度和三种长宽比；继而滑动窗口的卷积有9个区域建议，使得区域建议更加精确，有利于后续的分类和目标框调整，接着通过2个全连接层分别得到区域建议和区域得分；因此，经过RPN网络在图像特征图上生成包含输电线路杆塔鸟巢缺陷区域、导线断股缺陷区域、导线散股缺陷区域、绝缘子自爆缺陷区域的大量候选区域框，对候选区域框进行非最大值抑制，保留得分最高的前300个框；

S3，提取所述候选区域的特征，对S2得到的每个候选区域使用Fast R-CNN网络进行特征提取，形成高维的特征向量；

S4，使用分类器对所述特征进行分类，将S3中获得的特征量送入一个线性分类器计算这些特征属于输电线路四类缺陷中某个类别的概率，作为分类依据以确定所述特征是否符合一个类别；

S5，对符合输电线路杆塔鸟巢缺陷区域、导线断股缺陷区域、导线散股缺陷区域、绝缘子自爆缺陷区域类别的特征对应的候选区域进行边框回归；由Fast R-CNN检测网络计算类别得分，对输电线路杆塔鸟巢缺陷区域、导线断股缺陷区域、导线散股缺陷区域、绝缘子自爆缺陷区域目标外围框的大小和位置进行精细回归，预测出更合适的输电线路杆塔鸟巢缺陷区域、导线断股缺陷区域、导线散股缺陷区域、绝缘子自爆缺陷区域目标的外围框位置。

(E)完成输变电设备缺陷图像的自动识别。

2.按照权利要求1所述的一种输变电设备缺陷图像自动识别方法，其特征在于，所述步骤(B)中，小波去噪算法对图像进行去噪处理的具体步骤如下：

(a)对应尺度j，基于一个小波函数和分解处理，对含有噪声的图像信号进行小波变换，获得不同尺度上的子图像；

(b)在不同尺度上对细节的小波变换系数设定阈值，把噪声从信号中分离出来；

(c)用重构算法实现图像的复原。

3.按照权利要求1所述的一种输变电设备缺陷图像自动识别方法，其特征在于，所述步骤(C)中，生产对抗网络的生成网络G的输入为随机噪声z和条件特征c，输出为生成图像，鉴别网络D的输入为生成图像和加入条件特征c的真实图像，鉴别网络D需要判断输入图像的真伪，输出一个二元概率分布，整个过程的损失函数可以表示为：

式(4)中，p_data(x)表示真实图像的分布，p_z(z)表示随机噪声z假样本的分布，具体训练过程为：

在每一个epoch中：

S`1,鉴别网络D先训练k次：从高斯分布p_z中采样m个随机样本{z⁽¹⁾,…,z^(m)}，从真实图像分布p_data随机抽取m个样本集{x⁽¹⁾,…,x^(m)}，{x⁽¹⁾,…,x^(m)}对应着m个标签{c⁽¹⁾,…,c^(m)}，这些作为鉴别网络D的输入，用梯度下降法使鉴别网络D的损失函数越小，在训练鉴别网络D的时候生产网络G中的所有参数固定，即不参加训练；

S`2，再训练生产网络G1次：从高斯分布p_z中采样m个随机样本{z⁽¹⁾,…,z^(m)}，将{x⁽¹⁾,…,x^(m)}对应的m个标签{c⁽¹⁾,…,c^(m)}都输入到生产网络G中，用梯度下降法使生产网络G的损失函数越小，在训练生产网络G的时候鉴别网络D中的所有参数也要固定住，即不参加训练；

S`3,直到所有epoch执行完毕，训练结束，输出生成图像。