[发明专利]一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法

权利要求书

1.一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法，其特征在于包括以下步骤：

步骤S1：建立防震锤检测图像库；

步骤S2：采用数据增强技术扩充步骤S1中的防震锤检测图像库；

步骤S3：建立与所述防震锤检测图像库对应的图像标签库：对所述防震锤检测图像库中的每幅图片建立相应的符合标准PASCAL VOC格式的xml标签文件；

步骤S4：建立深度学习模型：采用深度学习目标检测网络Faster R-CNN作为建立的深度学习模型；

步骤S5：生成数据集：将所有参与训练的图像以及与其对应的标签文件合成一个用于训练的、能够进行高效读取的文件；

步骤S6：训练防震锤检测模型：利用步骤S3的深度学习模型通过反向传播算法在防震锤检测图像库上进行训练，得到防震锤检测模型；其中，训练所用的初始化模型为在COCO数据集上训练所得的模型；

步骤S7：固化模型用于快速检测：将步骤S5得到的防震锤检测模型中所含的训练变量剔除，只保留包括前向传播的神经元权重与偏置在内的常量，缩小防震锤检测模型的体积；

步骤S8：将待检测的图片或者视频输入到固化后的防震锤检测模型中，用矩形边界框在原图像或者视频中，标注出检测到的防震锤区域，以及它们的置信度得分；

步骤S9：利用步骤S8检测出的防震锤区域位置的坐标，计算出相邻防震锤之间的x轴间距，通过距离约束判断防震锤是否发生滑移故障：

利用检测出的防震锤边界框坐标，将一幅图片中的防震锤边界框坐标按x轴坐标从小到大排序，即将防震锤从左到右排序，计算出相邻两两防震锤之间的x轴间距，依据此间距，通过距离约束判断防震锤属于一组，距离约束为1/2防震锤x轴像素宽度，其中，距离约束根据不同地区的防震锤安装标准而定；将一幅图片的防震锤分组后，计算每组防震锤个数，根据当地防震锤组内数量设置阈值，如正常状态下一组有4个防震锤，那么阈值即为4，当一组的防震锤个数小于4，判断此组防震锤存在滑移故障。

2.根据权利要求1所述的一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法，其特征在于：步骤S1中的所述防震锤检测图像库的图像为完整航拍图像且归一化到1024*1024像素尺寸。

3.根据权利要求1所述的一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法，其特征在于：步骤S3中所述标签文件包括图片的以下信息：图片ID号、图片的像素高度与宽度与深度、图片的路径、图片所包含的目标种类、防震锤目标所在区域的矩形边界框的坐标(x_min,y_min,x_max,y_max)，其中(x_min,y_min)为边界框的左上顶点坐标，(x_max,y_max)为边界框的右下顶点坐标。

4.根据权利要求1所述的一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法，其特征在于：步骤S4中，所述深度学习目标检测网络Faster R-CNN具体分为基础网络、区域提议网络和Fast R-CNN检测网络；其中基础网络选用卷积神经网络ResNet，基础网络对输入进行高纬度深层的特征提取；区域提议网络在基础网络所生成的特征图上继续使用3*3卷积生成尺寸与深度皆一致的特征图，然后通过并行的两个1*1卷积操作计算是否含有目标的置信度和相应提议区域位置坐标，生成提议区域；Fast R-CNN检测网络根据区域提议网络所生成的提议区域，在每个提议区域上进行感兴趣区域池化操作，然后通过并行的两组全连接层计算目标种类的置信度和目标位置坐标。

5.根据权利要求1所述的一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法，其特征在于：所述步骤S5具体为：将防震锤检测图像库中所有xml标签文件合成一个csv格式的表格文件，将此csv文件按行编号以一个自定义的比例随机拆分成训练集csv文件与测试集csv文件；根据csv文件中的图片标签信息，将所有图片与对应标签合成一个可以用于高效读写的tfrecord格式文件，最终得到防震锤检测训练集的tfrecord文件和防震锤检测测试集的tfrecord文件。