[发明专利]摄像头协同知识图谱的故障监控方法、系统及计算机介质

权利要求书

1.一种基于摄像头协同知识图谱故障监控方法，其特征在于，包括：

使用多个摄像头对设备的多个部件进行监控拍摄，并生成部件图像，每个所述摄像头监控拍摄所述设备的一个部件；

将部件图像与知识图谱中的第二图像实体进行比对，根据比对结果得到对应的结论实体；

所述知识图谱包括实体和关系，所述知识图谱为所述实体与所述实体之间通过所述关系形成的网络状的图像知识图谱；所述实体包括第一图像实体、第二图像实体和结论实体；

所述将部件图像与知识图谱中的第二图像实体进行比对，根据比对结果得到对应的结论实体包括：

每个摄像头监控拍摄所述设备的一个部件；

将所述摄像头所拍摄部件的本次部件图像与知识图谱中部件的所有第二图像实体进行比对，求出本次部件图像的特征向量与知识图谱中部件的所有第二图像实体的特征向量相对比的距离最小值，得到所述距离最小值所对应的第二图像实体以及第二图像实体的特征向量，若本次部件图像的特征向量与所述第二图像实体的特征向量为之间的距离小于第四阈值，则将距离最小值所对应的第二图像实体标记为，并判断距离最小值所对应的第二图像实体与结论实体是否相连，若相连则检查与所述实体结论相连的其他部件的第二图像实体是否均标记为，反之则结束；若与所述实体结论相连的其他部件的第二图像实体均标记为，则输出所述结论实体，反之则结束。

2.根据权利要求1所述的基于摄像头协同知识图谱故障监控方法，其特征在于，所述第一图像实体为所述部件在正常状态下的部件图像；所述第二图像实体为所述部件运行状态发生变化时的部件图像；所述结论实体包括部件运行状态发生变化时的部件图像所对应的故障种类以及处理意见的信息；

所述关系包括第一图像实体与第二图像实体之间的第一关系以及第二图像实体与结论实体之间的第二关系，所述第一关系代表所述部件运行状态发生变化的变化原因，所述第二关系代表部件运行状态发生变化引起故障时，所述第二图像实体到所述结论实体的指向关系。

3.根据权利要求2所述的基于摄像头协同知识图谱故障监控方法，其特征在于，构建所述知识图谱包括以下步骤：

搜集资料，所述搜集资料包括搜集所监控的设备的各部件在不同运行状态下的部件图像和视频资料以及所监控的设备的使用说明材料；

依据所述材料整理出各部件在各种运行状态下的部件图像变化的先后顺序以及变化原因，在各部件相应的运行状态后给出对应的故障种类以及处理意见；

依据各部件在各种运行状态下的部件图像变化的先后顺序以及变化原因生成第一图像实体、第二图像实体和第一关系；依据各部件相应的运行状态后给出对应的故障种类以及处理意见生成第二关系和结论实体；

依据所述生成的第一图像实体、第二图像实体、结论实体、第一关系和第二关系搭建所述设备的初始知识图谱并保存。

4.根据权利要求2所述的基于摄像头协同知识图谱故障监控方法，其特征在于，构建知识图谱还包括更新所述知识图谱，更新所述知识图谱包括以下步骤：

每个摄像头监控拍摄所述设备的一个部件；

将所述摄像头所拍摄部件的本次部件图像与上次部件图像进行比对，若本次部件图像的图像特征向量和上次部件图像的图像特征向量的距离大于第一阈值，将本次部件图像的图像特征向量与所述知识图谱中该部件的所有第二图像实体的特征向量进行比对，反之则结束更新所述知识图谱；

若本次部件图像的图像特征向量与所述知识图谱中该部件的所有第二图像实体的特征向量的距离的最大值大于第二阈值，将当前部件图像添加进所述知识图谱作为第二图像实体并建立关系以及相应的结论实体，反之则结束更新所述知识图谱；

保存更新后的知识图谱。

5.根据权利要求1所述的基于摄像头协同知识图谱故障监控方法，其特征在于，还包括判定是否将部件图像与知识图谱中的第二图像实体进行比对，根据比对结果得到对应的结论实体，所述判定的过程包括以下步骤：

将本次部件图像与上次部件图像进行比对，若本次部件图像的特征向量与上次部件图像的特征向量的距离大于第三阈值，则将部件图像与知识图谱中的第二图像实体进行比对，根据比对结果得到对应的结论实体；反之则不进行比对。