[发明专利]一种基于双模态数据融合的变电站设备故障检测方法

权利要求书

1.一种基于双模态数据融合的变电站设备故障检测方法，其特征在于，包括以下步骤：

S1：数据输入，在巡检开始前，将作业数据预先输入至巡检机器人中，使得巡检机器人到达一个作业点；

S2：拍摄所述作业点的电力设备场景的可见光与温度图双模态图像；

S3：基于SIFT和PSO算法完成对可见光与温度图双模态图像的像素级对齐，并将对齐得到的双模态数据输入到多模态目标检测与实例分割模型中；

S4：使用训练完成的、基于中端融合的所述多模态目标检测与实例分割模型对所述双模态数据中的电力设备进行自动识别，具体为：

S4.1：将温度图和可见光图像分别输入到训练完成的对应模态的骨干网络中、并提取特征；

S4.2：将两个模态的各个尺度特征通过拼接的方式进行融合；

S4.3：将融合后的特征输入到推荐候选框生成、推荐候选框分类以及分割预测模块中，完成对双模态数据的电力设备图像实例分割；

S5：对实例分割后的电力设备图像，使用基于温度图的规则判定所述电力设备是否出现故障；

S6：返回当前场景的故障检测结果。

2.根据权利要求1所述的检测方法，其特征在于：所述作业数据包括变电站地图、每个电力设备的名称编号列表以及每个作业点信息。

3.根据权利要求1所述的检测方法，其特征在于：所述可见光与温度图双模态图像采用巡检机器人的可见光与温度图双摄像头拍摄。

4.根据权利要求1所述的检测方法，其特征在于：所述基于温度图的规则判定所述电力设备是否出现故障的具体步骤为：

通过设定的规则对所述电力设备包含的像素点的温度值进行判定，

若所述电力设备中的像素点温度值与规则不相符，则判定所述电力设备为故障设备，并将电力设备的名称编号、故障信息反馈给系统。