[发明专利]一种融合多源异构电网数据的获取和分布式存储方法

说明书

本发明公开了一种融合多源异构电网数据的获取和分布式存储方法，包括以下步骤：依据各个业务系统数据特点建立接口协议并建立电网运行环境及设备数据模型规范；配置各业务系统的数据接入策略、配置数据校验规则；监控实时接入应用运行过程中产生的信息，对于监控到的故障信息，对故障期间丢失的数据进行数据补录；建立实时消息队列、数据广播和缓存电网运行数据的格式规范，把解析的在线监测数据、运行数据、雷电数据和气象数据进行广播到并存储到缓存消息队列上，按周期写入Hadoop分布式存储文件；将接入的数据和监控数据进行可视化展示。本发明创建了电网运行环境及设备数据模型规范，为统一电网系统数据建模奠定了基础。

技术领域

本发明涉及电力系统的运行环境及设备信息的接入存储领域，具体涉及融合电网运行环境及设备信息的跨平台数据获取和分布式存储方法。

背景技术

输变电设备状态相关信息是评价设备状态、诊断设备故障、动态调整设备负载、评估电网风险对设备影响的重要依据，实时准确获取输变电设备、运行、环境等状态相关信息是深入分析设备状态和精确掌控设备能力水平的核心基础。

目前，输变电设备状态相关信息所涉及的设备、运行、环境等数据主要来源于能量管理系统(EMS)、气象系统、生产管理系统(PMS)、输变电设备在线监测系统、电网空间信息服务平台(GIS)、雷电定位系统、变电站智能巡检机器人系统等不同业务系统。

由于各个业务系统基于不同平台、不同应用目标、不同协议、不同数据结构构建，呈现高度离散性、时空分布性的特点，跨平台数据之间存在数据接口规范不一致、结构化和非结构化数据存储方式不相同、弱相关等问题；其次，各个业务系统的数据基本都按照关系数据库或文件方式存储，不便于应用Hadoop等分布式技术开展数据分析和处理；再次，对于EMS、气象、在线监测等实时数据流，其接入方式的实时性和准确性，是快速判断设备状态的重要环节，需要建立一个实时数据广播和数据共享机制。

发明内容

为解决现有技术存在的不足，本发明公开了融合电网运行环境及设备信息的跨平台数据获取和分布式存储方法，本发明的目的在与实现自动从业务系统中获取数据，实现跨平台信息的统一数据接入、实时监控计算、分布式存储和可视化展示。

为实现上述目的，本发明的具体方案如下：

一种融合多源异构电网数据的获取和分布式存储方法，包括以下步骤：

依据各个业务系统数据特点建立接口协议并建立电网运行环境及设备数据模型规范；

配置各业务系统的数据接入策略、配置数据校验规则，从而实现实时接入应用和历史接入应用；

监控实时接入应用在运行过程中产生的日志信息、故障信息及告警信息并通过，对于监控到的故障信息，对故障期间丢失的数据进行数据补录；

建立数据广播和缓存电网运行数据的格式规范，把解析的在线监测数据、运行数据、雷电数据和气象数据进行广播到并存储到缓存消息队列中，按周期写入Hadoop分布式存储文件或HBase；

将接入的数据和监控数据进行可视化展示。

进一步的，上述建立的数据模型规范即为各个业务系统的数据属性，包括能量管理系统模型规范、雷电定位系统模型规范及气象系统模型规范；

雷电定位系统模型规范：制定接口协议获取雷击发生时间、位置、回击次数；建立雷电系统模型规范包括：雷电发生时间、精度坐标、纬度坐标、电流强度及回击次数；

气象系统模型规范：制定接口协议获取气象监测数据、雷达图数据、云图数据及天气预报数据；建立气象系统监测信息模型、雷达信息模型、云图信息模型及天气预报信息模型；

能量管理系统模型规范：制定接口协议获取电流、电压、有功功率、无功功率数据；建立EMS系统模型规范包括量测id、量测时间、量测类型和量测值。