[发明专利]一种输电线路销钉缺失自动检测神经网络集成方法

权利要求书

1.一种输电线路销钉缺失自动检测神经网络集成方法，其特征在于，该方法将5种目标检测网络进行集成，综合每个网络的输出结果进行销钉缺失的检测；5种目标检测网络为基于回归的SSD网络、基于回归的YOLO网络、基于回归的EfficientDet网络、基于区域建议的FasterRCNN网络和基于区域建议的级联网络；所述方法包含以下步骤：

步骤(1)：设计反映每个网络对于输电线路销钉缺失检测结果的数据指标和评价指标；对基于回归的SSD网络、基于回归的YOLO网络、基于回归的EfficientDet网络、基于区域建议的FasterRCNN网络和基于区域建议的级联网络用无人机航拍得到的输电线路销钉数据集进行训练，用同样的测试数据集对每个经过训练的网络进行测试，得到输出结果即每个网络检测结果的数据指标，通过对数据指标进行计算得到每个网络检测结果的评价指标；所述每个网络对于输电线路销钉缺失检测结果的数据指标有真正值TP、假正值FP和假负值FN；表达式如下：

式中，T是阈值，值为0.5；IOU是交并比，用来衡量目标检测网络输出的预测框与真实边界框的重叠程度，表示真实的标注的边界框集合中第i个真实的标注矩形框，表示检测出来的预测框集合中第j个检测出的预测框，i∈[1,n]，j∈[1,m]，n表示集合的元素数量，m表示集合的元素数量，表示边界框与边界框的交集，表示边界框与边界框的并集，|·|表示面积，是逻辑表达式，结果为1或0；

所述每个网络对于检测性能的评价指标包括精准率P、召回率R、重合度Q、检测质量评分S：

式中，w₁表示精准率和召回率的权重因子，w₂表示重合度的权重因子；w₁，w₂∈[0,1]，w₁+w₂＝1；

步骤(2)：采用两步集成方法对基于回归的SSD网络、基于回归的YOLO网络、基于回归的EfficientDet网络、基于区域建议的FasterRCNN网络和基于区域建议的级联网络这5种网络的输出结果进行集成，得到最终的输出；

待输电线路销钉缺失自动检测神经网络集成方法检测的目标种类有两种：正常的销钉以及缺失的销钉；首先，对基于回归的SSD网络、基于回归的YOLO网络、基于回归的EfficientDet网络、基于区域建议的FasterRCNN网络和基于区域建议的级联网络这5种网络输出的正常销钉的检测结果进行步骤(2.1)处理，再对这5种网络输出的销钉缺失的检测结果进行步骤(2.2)处理；

步骤(2.1)：采用投票法，少数服从多数的原则，如果至少有三个网络在图片的同一位置输出预测框，就这三个网络的输出预测框合并为一个预测框；

(2.1.1)从五个网络中随机挑选三个网络，共有种选择，假设第一次挑选的组合为基于回归的SSD网络、基于回归的YOLO网络、基于区域建议的FasterRCNN网络；

(2.1.2)计算基于回归的SSD网络、基于回归的YOLO网络、基于区域建议的FasterRCNN网络的输出预测框的交并比为：

其中，A_i表示基于回归的SSD网络输出的预测框集合A＝{A₁,A₂,...,A_n}中的第i个检测出的预测框，B_j表示基于回归的YOLO网络输出的预测框集合B＝{B₁,B₂,...,B_m}中第j个检测出的预测框，C_k表示基于区域建议的FasterRCNN网络输出的预测框集合C＝{C₁,C₂,...,C_t}中第k个检测出的预测框；t为集合C中元素的个数；公式(8)需要进行n×m×t次计算；

(2.1.3)当IOU(A_i,B_j,C_k)≥T时，对基于回归的EfficientDet网络输出集合进行计算：

其中A_i、B_j和C_k为公式(8)中选取的特定预测框，D_s为基于回归的EfficientDet网络的输出预测框集合D＝{D₁,D₂,...,D_p}中第s个检测出的预测框；p为集合D中元素的个数；如果将D_s从基于回归的EfficientDet网络输出的预测框集合D＝{D₁,D₂,...,D_p}中删除，重新按照顺序排列下标后D变为D＝{D₁,D₂,...,D_p-1}；

(2.1.4)对基于区域建议的级联网络的输出集合进行计算：

其中A_i、B_j和C_k为公式(8)中选取的特定预测框，E_o为基于回归的EfficientDet网络的输出预测框集合E＝{E₁,E₂,...,E_q}中第o个检测出的预测框；q为集合E中元素的个数；如果将E_o从基于区域建议的级联网络输出的预测框集合E＝{E₁,E₂,...,E_q}中删除，重新按照顺序排列下标后E变为E＝{E₁,E₂,...,E_q-1}；

(2.1.5)将A_i、B_j和C_k合并为一个框，合并方法：取A_i、B_j和C_k中所有点中x坐标的最小值和y坐标的点2为集成预测框的最右下点；通过点1和点2构建集成预测框，该预测框对应的三种网络为基于回归的SSD网络、基于回归的YOLO网络和基于区域建议的FasterRCNN网络；将得到集成预测框存入集合G中，将A_i、B_j和C_k从预测框集合A、B和C中删除；

(2.1.6)循环执行上述步骤(2.1.3)至步骤(2.1.5)，直到集合A、B和C中没有满足IOU(A_i,B_j,C_k)≥T的组合；

(2.1.7)循环执行上述步骤(2.1.2)至(2.1.6)，直至步骤(2.1.1)中所述种组合计算完毕；

步骤(2.2)：

对步骤(2.1)输出的集成预测框的置信度采用加权投票法进行计算，所述加权投票法采用式(11)计算：

其中，v_i表示该预测框对应的三个网络中第i个网络对应权值，基于区域建议的级联网络对应权重为0.6；基于回归的EfficientDet网络对应权重为0.5；基于回归的SSD网络对应权重为0.3；基于回归的YOLO网络对应权重为0.3；基于区域建议的FasterRCNN网络对应权重为0.3；

F(x)表示最终的投票结果输出，x_i为五个网络输出的类别置信度，f_i(x_i)是五个网络的投票结果，其表达式为：

当F(x)为1时，保留预测框，预测框对应类别置信度的值计算方式为