[发明专利]一种基于计算机视觉的电力压板开关巡检方法

权利要求书

1.一种基于计算机视觉的电力压板开关巡检方法，其特征在于，包括：

采集单帧图像，并获取所述单帧图像上多个压板开关的位置、开关状态、贴纸种类以及开关底部标签的种类；

获取开关底部标签的文本信息，并构建YOLOv3算法将压板开关与其对应的标签、贴纸关联输出；

采用校验算法判断巡检前后开关状态、标签贴纸信息是否变化；

依据校验反馈结果完成对电力压板开关的巡检。

2.如权利要求1所述的基于计算机视觉的电力压板开关巡检方法，其特征在于：所述YOLOv3算法包括，

利用MobileNetv1神经网络对所述单帧图像进行特征提取；

将所述单帧图像划分为多个区域，并预测所述单帧图像的边界框和每个区域的概率值。

3.如权利要求2所述的基于计算机视觉的电力压板开关巡检方法，其特征在于：所述开关底部标签的文本信息的获取包括，

利用MobileNetV3 Small网络作为backbone实现对单帧图像特征序列的提取；

使用RNN结构作为循环层来预测从卷积层获取的所述单帧图像特征序列的标签分布；

使用CTC作为转录层,将从循环层获取到的标签分布通过去重整合等操作转换成最终的识别结果。

4.如权利要求1～3任一所述的基于计算机视觉的电力压板开关巡检方法，其特征在于：所述压板开关与其对应的标签、贴纸关联输出包括，

将所述文本信息划分为标签、开关和贴纸，并将所述文本信息存放在三个数组中；

每个数组中都包含位置、种类信息，此外开关数组中还包括标签、贴纸、贴纸位置这三个属性。

5.如权利要求4所述的基于计算机视觉的电力压板开关巡检方法，其特征在于：所述压板开关与其对应的标签、贴纸关联输出还包括，

判断是否出现漏检的情况，并获取所有开关的位置信息。

6.如权利要求5所述的基于计算机视觉的电力压板开关巡检方法，其特征在于：若未出现漏检，则遍历每一个所述开关数组，并设置第一个开关；

以所述第一个开关为基准，遍历所有的开关目标，若第一个开关在y轴上的中值是在这个目标的上边界和下边界的值之间，则这个目标是和第一个开关是同一排的开关，并根据这个目标的x坐标进行排序，活动的第一排开关的全部相对位置信息。

7.如权利要求6所述的基于计算机视觉的电力压板开关巡检方法，其特征在于：还包括，

遍历所有的标签数组，计算每一个标签和开关底部中心的距离，将标签和距离这个标签最近的开关相关联，以此类推，把标签的信息并入开关数组；

遍历所有的贴纸数组，计算每一个贴纸和开关上部中心的距离，将贴纸和距离这个贴纸最近的开关相关联，以此类推，把贴纸的信息并入开关数组；

遍历开关时跳过已经有坐标的开关，获取到所有开关的位置信息。

8.如权利要求7所述的基于计算机视觉的电力压板开关巡检方法，其特征在于：若出现漏检，则利用捡漏算法查找漏检情况；

若左边和右边相邻的开关间距大于一个开关搞的1.65倍，则认为中间存在漏检情况，要插入一个值为“null”的开关，表示未能成功检测，并提醒用户人工检查并手动添加信息，若不存在漏检的情况，则需要调整好规范角度重新拍摄。

9.如权利要求8所述的基于计算机视觉的电力压板开关巡检方法，其特征在于：所述校验算法包括，

对巡检前后拍摄的单帧图像进行检测识别，并返回巡检前后每个开关、标签与贴纸的信息json识别结果，比较两个json文件中开关总数是否相同。

10.如权利要求9所述的基于计算机视觉的电力压板开关巡检方法，其特征在于：所述校验算法还包括，

若开关总数相同，比较在两个json文件中行列坐标相同的开关的种类是否相同，判断巡检前后开关状态是否变化；检测完成后输出巡检前后开关状态、标签贴纸信息以及开关状态是否变化，实现开关检测自动校检；

如果开关总数不同，则需巡检人员重新拍摄巡检后的图片，重新进行检测或人工校验。