[发明专利]基于Faster R-CNN的无人机巡检图像电力小部件识别方法及系统

摘要

本发明公开了基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统；它包括包括步骤如下：对ZFnet模型进行预训练，提取无人机巡检图像的特征图；对初始化得到的RPN区域提议网络模型训练，得到区域提取网络，利用区域提取网络在图像的特征图上生成候选区域框，对候选区域框中的特征进行提取，提取到目标的位置特征和深层特征；利用目标的位置特征、深层特征和特征图，对初始化得到的Faster R‑CNN检测网络进行训练，得到电力小部件检测模型；步骤(4)：利用电力小部件检测模型进行实际的电力小部件识别检测。本发明的有益效果：利用Faster R‑CNN进行多种类别的电力小部件识别定位可以达到每张近80ms的识别速度和92.7％的准确率。

主权项

1.基于FasterR‑CNN的无人机巡检图像电力小部件识别方法，其特征是，包括步骤如下：步骤(1)：对ZFnet模型进行预训练，提取无人机巡检图像的特征图；对RPN区域提议网络模型和Faster R‑CNN检测网络进行初始化；使用ImageNet分类数据集对ZFnet模型进行预训练得到预训练后的ZFnet模型；使用ImageNet分类数据集对ZFnet模型进行预训练的步骤如下：ZFnet模型为8层网络结构，包含5个卷积层和3个全连接层，从上往下数在第一层、第二层和第五层卷积层后面均添加Max Pooling池化操作；使用ImageNet分类数据集对ZFnet模型进行预训练的步骤如下：ZFNet模型的从上往下数，第一个卷积层对输入的ImageNet分类数据集进行卷积，卷积后，进行第一个Max Pooling池化操作；第二个卷积层对第一个Max Pooling池化操作的结果进行卷积，卷积后，进行第二个Max Pooling池化操作；第三个卷积层对第二个Max Pooling池化操作的结果进行卷积；卷积后，第四个卷积层对第三个卷积层的卷积结果进行卷积；卷积后，第五个卷积层对第四个卷积层的卷积结果进行卷积，卷积后，进行第三个Max Pooling池化操作；第三个Max Pooling池化操作之后得到256个输出单元，形成特征图；步骤(2)：对初始化得到的RPN区域提议网络模型训练，得到区域提取网络，利用区域提取网络在图像的特征图上生成候选区域框，对候选区域框中的特征进行提取，提取到目标的位置特征和深层特征；步骤(2)：用电力小部件图像构建电力小部件图像集，在用电力小部件图像集训练初始化后的RPN区域提议网络时，使用反向传播算法对初始化后的区域提议网络进行调优；RPN区域提议网络以任意大小的图像为输入，RPN区域提议网络输出若干个包含候选目标的候选区域框；在ZFnet模型的第五个卷积层后面添加一个RPN区域提议网络卷积层，卷积操作采用滑动方式运作，对于ZFNet模型特征图上的每一个手动标记的目标位置上开一个窗口，利用RPN区域提议网络进行卷积运算，得到每一个位置对应的256维特征向量，所述256维特征向量用于反映每一个位置的窗口内的深层特征；RPN区域提议网络卷积层采用3种不同尺寸和3种不同比例组合成的9种卷积核函数对包含候选目标的窗口的位置进行目标提取，得到关于目标的位置特征，将目标的位置特征作为输入的训练数据，输入到步骤(3)；步骤(3)：利用目标的位置特征、深层特征和特征图，对初始化得到的Faster R‑CNN检测网络进行训练，得到电力小部件检测模型；所述步骤(3)步骤如下：步骤(3‑1)：将第五个卷积层得到的深层特征，全连接形成高维特征向量实现图像的整体特征描述，作为第六层全连接层FC6的输入；将RPN区域提议网络卷积层得到的位置特征也作为第六层全连接层FC6的输入；第六层全连接层FC6与第七层预测层FC7之间为全连接的方式进行数据交换；第七层预测层FC7包含分类模块与回归模块；分类模块用于判断特征的类型，回归模块用于精确定位特征的目标位置；步骤(3‑2)：计算网络整体损失函数并根据损失函数进行网络各层参数优化；损失函数L(p,k*,t,t*)：训练数据集共分为K+1类，k^*表示正确的分类标签，p＝(p₀,...,p_K)表示分类为k的概率，表示回归模块计算得到的标记框信息：标记框的横坐标、标记框的纵坐标、标记框的宽和标记框的高；计算公式为：根据训练集中标定的标签进行检测网络的参数微调训练，通过随机梯度下降方，交替优化网络参数；在优化分类模块参数时，固定回归模块参数不变，在优化回归模块参数时固定分类模块参数不变；RPN区域提议网络与Faster R‑CNN检测网络最终共享了卷积层并形成了一个电力小部件检测模型；步骤(4)：利用电力小部件检测模型进行实际的电力小部件识别检测。