[发明专利]一种基于深度学习的无人机图像输电杆塔倒伏识别的方法

权利要求书

1.一种基于深度学习的无人机图像输电杆塔倒伏识别的方法，其特征在于，包括以下步骤：

步骤S1：制作训练数据集和验证数据集，数据集包括两种类别的无人机图像，分别是不同背景下的直立杆塔以及倒伏杆塔；

步骤S2：建立深度学习模型，分别以ResNet为基础的Faster R-CNN网络和以Darknet-53为基础的Yolov3网络作为深度学习目标检测的基础网络结构；

步骤S3：对步骤S1的数据集进行数据增强；

步骤S4：利用步骤S3增强后的训练数据集对步骤S2的Faster R-CNN网络和Yolov3网络进行训练；

步骤S5：固化与测试检测模型，根据步骤S4训练时的各项网络参数变化情况，在达到期望数值时固化深度学习网络模型；

步骤S6：进行模型融合，将Faster R-CNN、Yolov3网络输出的类别置信度进行加权平均，根据各模型在训练集上的分类误差率设定权重，再通过投票的结合策略将两种模型的结果融合，生成最终的杆塔倒伏集成模型；

步骤S7：利用验证后的杆塔倒伏集成模型对待测图像进行检测，经过网络前向传播后，得出检测结果的目标矩形框的坐标与置信度；其中矩形框中包含检测的目标杆塔，以及目标杆塔倒伏的置信度得分。

2.根据权利要求1所述的一种基于深度学习的无人机图像输电杆塔倒伏识别的方法，其特征在于，步骤S1具体为，巡检过程中无人机搭载高清镜头，多方位拍摄输电杆塔照片，将获取得到的包含杆塔的图像，统一等比缩放为图像像素宽度小于1024或者图像像素高度小于900的图像，将获取的无人机图像经过人工标注，生成带有文件夹名称、图片名、文件路径、图片大小及深度、目标的类别名称、以及边框坐标的xml文件；将打完标签的图片连同生成的xml文件分为一定比例的训练集和验证集，随后提取xml文件里面的目标的边框和类别转化为CSV格式，最后利用CSV文件里面的图片信息将图片与其对应的标签共同合成可供深度学习网络读取的TF-Record文件。

3.根据权利要求1所述的一种基于深度学习的无人机图像输电杆塔倒伏识别的方法，其特征在于，步骤S2具体为：

Faster R-CNN首先使用RPN提取图像候选框，然后采用Fast R-CNN 的方法将RPN提取的候选框经过一个softmax分类层和边界框回归器分类识别到图像中的杆塔；

Yolov3采用了Darknet-53的网络结构，采用多尺度检测，通过K-means聚类得出9种不同的anchors，按其大小均分给3种尺度的feature map，每个尺度预测三个box，最后使用logistic regression进行预测和回归，以此来获取输电杆塔倒伏的识别结果。

4.根据权利要求1所述的一种基于深度学习的无人机图像输电杆塔倒伏识别的方法，其特征在于，步骤S4具体为：通过步骤S1与步骤S3对数据的处理，将数据增强后的训练数据集作为训练样本分别对Faster R-CNN网络和Yolov3网络进行训练，利用步骤S2建立的基础网络结构进行反向传播，使其随着网络加深，残差结果逼近于0，设置迭代次数20万次，训练步数达到要求后得到前向传播图以及保存模型权重的文件。

5.根据权利要求1所述的一种基于深度学习的无人机图像输电杆塔倒伏识别的方法，其特征在于，步骤S5具体为：对步骤S4生成的前向传播图进行固化，把保存模型权重的文件参数导入到前向传播图中得到固化后的模型；选择N张带有标签的杆塔图片输入固化后的模型中进行测试，测试结果显示图片中杆塔的目标边框，以及正确识别其位置和倒伏状态的置信度，同时生成带有检测结果的txt文件。

6.根据权利要求1所述的一种基于深度学习的无人机图像输电杆塔倒伏识别的方法，其特征在于，步骤S7具体为：将待检测的图片输入步骤S6处理过后的杆塔倒伏集成模型中，得到输电杆塔的目标边框，并判断图片中的地面位置，将其作为参考线，再根据杆塔中心与地面参考线的夹角判断杆塔是否处于倒伏的状态。