[发明专利]一种基于双模态数据融合的变电站设备故障检测方法

说明书

本发明公开了一种基于双模态数据融合的变电站设备故障检测方法，拍摄作业点的电力设备场景的可见光与温度图双模态图像；基于SIFT和PSO算法完成对可见光与温度图双模态图像的像素级对齐，使用多模态目标检测与实例分割模型对双模态数据中的电力设备进行自动识别，对实例分割后的电力设备图像，使用基于温度图的规则判定电力设备是否出现故障。本发明中双模态数据融合的变电站设备故障检测方法同时利用电力场景的可见光与温度图双模态，综合利用可见光的成像高清晰度与温度图的温度特性这一互补信息完成更为准确的实例分割，从而更为精确地识别出场景中的电力设备并基于此完成基于温度分析地故障检测。

技术领域

本发明涉及变电设备故障巡检技术领域，具体为一种基于双模态数据融合的变电站设备故障检测方法。

背景技术

传统的电力设备故障检测往往采用人工的形式，需要消耗大量的人力和物力。随着人工智能的发展，基于巡检机器人和计算机视觉的自动电力设备故障检测算法开始发展。之前常用的自动故障检测方法通常采用单模态的检测方法，即基于红外光模态完成对电力设备的目标检测，再基于红外光检测的结果完成基于温度的故障检测。由于红外光成像相对模糊，分辨率较低，因此难以保障红外光目标检测的准确率，从而影响故障检测的性能。

为此我们提出一种基于双模态数据融合的变电站设备故障检测方法用于解决上述问题。

发明内容

本发明的目的在于提供一种基于双模态数据融合的变电站设备故障检测方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于双模态数据融合的变电站设备故障检测方法，包括以下步骤：

S1：数据输入，在巡检开始前，将作业数据预先输入至巡检机器人中，使得巡检机器人到达一个作业点；

S2：拍摄所述作业点的电力设备场景的可见光与温度图双模态图像；

S3：基于SIFT和PSO算法完成对可见光与温度图双模态图像的像素级对齐，并将对齐得到的双模态数据输入到多模态目标检测与实例分割模型中；

S4：使用训练完成的、基于中端融合的所述多模态目标检测与实例分割模型对所述双模态数据中的电力设备进行自动识别，具体为：

S4.1：将温度图和可见光图像分别输入到训练完成的对应模态的骨干网络中、并提取特征；

S4.2：将两个模态的各个尺度特征通过拼接的方式进行融合；

S4.3：将融合后的特征输入到推荐候选框生成、推荐候选框分类以及分割预测模块中，完成对双模态数据的电力设备图像实例分割；

S5：对实例分割后的电力设备图像，使用基于温度图的规则判定所述电力设备是否出现故障；

S6：返回当前场景的故障检测结果。

优选的，所述作业数据包括变电站地图、每个电力设备的名称编号列表以及每个作业点信息。

优选的，所述可见光与温度图双模态图像采用巡检机器人的可见光与温度图双摄像头拍摄。

优选的，所述基于温度图的规则判定所述电力设备是否出现故障的具体步骤为：

通过设定的规则对所述电力设备包含的像素点的温度值进行判定，

若所述电力设备中的像素点温度值与规则不相符，则判定所述电力设备为故障设备，并将电力设备的名称编号、故障信息反馈给系统。