[发明专利]一种基于卷积神经网络的电力缺陷图像识别方法

摘要

本发明公开了一种识别效率较高、稳定性较好的基于卷积神经网络的电力缺陷图像识别方法。该基于卷积神经网络的电力缺陷图像识别方法通过设计神经网络结构，网络优化方法建立一套特定领域的图像检测与特征描述算法，使用神经网络直接得到图片是否存在缺陷以及缺陷类别，同时输出缺陷所在区域，该网络具备同时处理识别多种缺陷的功能。相比传统的hog/lbp特征提取方法，对多种缺陷类别具有适应性，且在这些缺陷类别上保持较高的精准度及查全率。基于神经网络的缺陷处理系统稳定性好，提高了输电线路巡检的自动化水平，降低了人工的劳动强度，便于快速准确的发现输电线路缺。适合电力输运系统缺陷检测技术领域推广应用。

主权项

1.一种基于卷积神经网络的电力缺陷图像识别方法，其特征在于包括以下步骤：(1)获取电力线路器件图像集，将获取的电力线路器件图像集分成两部分，其中一部分图像为训练图像集，另一部分为测试图像集，将训练图像集中的图像分别使用图像分割标记工具得到电力线路器件图像的轮廓图以及轮廓图所对应的缺陷类别，并使用VOC标记格式将得到电力线路器件图像的轮廓图保存为切割图，将切割图和与之对应的电力线路器件图像以及切割图所对应的类别保存为XML文件得到训练集；将测试图像集中的图像分别使用图像分割标记工具得到电力线路器件图像的轮廓图以及轮廓图所对应的类别，并使用VOC标记格式将得到电力线路器件图像的轮廓图保存为切割图并得到其相应的缺陷类别，将切割图和与之对应的电力线路器件图像以及切割图所对应的缺陷类别保存为XML文件得到测试集；(2)构建训练网络的网络结构，构建训练网络的过程包括如下步骤：步骤S10，构建所述训练网络的第零层；其中，第零层为输入层；步骤S20，构建所述训练网络的第一层；其中，所述第一层包括conv1_1、relu1_1、conv1_2、relu1_2、pool1；所述conv1_1、relu1_1、conv1_2、relu1_2依次对所述第零层输入的图像进行卷积处理，接着利用pool1进行池化处理得到多个第一特征图；步骤S30，构建所述训练网络的第二层；其中，所述第二层包括conv2_1、relu2_1、conv2_2、relu2_2、pool2；所述conv2_1、relu2_1、conv2_2、relu2_2依次对所述第一特征图进行卷积处理，接着利用pool2进行池化处理得到多个第二特征图；步骤S40，构建所述训练网络的第三层；其中，所述第三层包括conv3_1、relu3_1、conv3_2、relu3_2、conv3_3、relu3_3、pool3；所述conv3_1、relu3_1、conv3_2、relu3_2、conv3_3、relu3_3依次对所述第二特征图进行卷积处理，接着利用pool3进行池化处理得到多个第一特征图；步骤S50，构建所述训练网络的第四层；其中，所述第四层包括conv4_1、relu4_1、conv4_2、relu4_2、conv4_3、relu4_3、pool4；所述conv4_1、relu4_1、conv4_2、relu4_2、conv4_3、relu4_3依次对所述第三特征图进行卷积处理，接着利用pool4进行池化处理得到多个第一特征图；步骤S60，构建所述训练网络的第五层；其中，所述第五层包括conv5_1、relu5_1、conv5_2、relu5_2、conv5_3、relu5_3、pool5；所述conv5_1、relu5_1、conv5_2、relu5_2、conv5_3、relu5_3依次对所述第四特征图进行卷积处理，接着利用pool5进行池化处理得到多个第五特征图；步骤S70，构建所述训练网络的第六层；其中，所述第六层包括fc6、relu6、drop6，所述fc6、relu6对所述第五特征图进行反卷积处理，接着利用drop6进行防过度拟合处理得到多个第六特征图；步骤S80，构构建所述训练网络的第七层；其中，所述第七层包括fc7、relu7、drop7，所述fc7、relu7对所述第六特征图进行反卷积处理，接着利用drop7进行防过度拟合处理得到多个第七特征图；步骤S90，构建所述训练网络的第八层；其中，所述第八层包括score_fr、upscore2、score_pool4、score_pool4c、fuse_pool4，具体的将第七特征图依次进行score_fr、upscore2处理得到第八特征图，接着将第四特征图进行score_pool4处理得到的特征图与第八特征图进行score_pool4c得到第九特征图,然后将第九特征图与第八特征图进行fuse_pool4处理得到第十特征图；步骤S100，构建所述训练网络的第九层；其中，所述第九层包括upscore_pool4、score_pool3、score_pool3c，所述score_pool3，具体的将第十特征图进行upscore_pool4处理得到第十一特征图，接着将第三特征图进行score_pool3处理得到的特征图与第十一特征图进行score_pool3c得到第十二特征图,然后将第十二特征图与第十一特征图进行fuse_pool4处理得到第十三特征图；步骤S110，构建所述训练网络的第十层；其中，所述第十层包括upscore8、CropMask，具体的将第十三特征图进行upscore8处理得到的特征图与第零层输入的图像进行CropMask得到第十四特征图；步骤S120，构建所述训练网络的第十一层；其中，所述第十一层包括SoftmaxWithloss，具体的将第十四特征图与第零层输入的图像进行SoftmaxWithloss处理；(3)使用SGD优化训练网络的网络参数，使用dropout和Batch‑Norm方法优化训练网络的模型；(4)将训练集和测试集用于训练网络，查看训练误差和测试误差，如果训练误差和测试误差都下降，则表示合理收敛，得到优化的参数模型；(5)使用步骤(4)得到的优化的参数模型，运行Forward程序，加载步骤(2)得到的网络结构和步骤(3)得到的模型，并输入待测图像，得到识别结果的不同类别对应不同的掩码值，取目标类别的掩码值为1,非目标类别掩码值为0并得到掩码矩阵，矩阵中目标区域的值为正，非目标区域值为零，掩码矩阵的维数和待测图像的维数相同；同时输出缺陷类别，使用NMS方法过滤掉低概率的区域ROI；(6)使用掩码矩阵与待测图像的原图矩阵做element‑wise product得到提取出目标物体像素矩阵。