[发明专利]一种融合多源异构电网数据的获取和分布式存储方法

权利要求书

1.一种融合多源异构电网数据的获取和分布式存储方法，其特征是，包括以下步骤：

依据各个业务系统数据特点建立接口协议并建立电网运行环境及设备数据模型规范；

配置各业务系统的数据接入策略、配置数据校验规则，从而实现实时接入应用和历史接入应用；

监控实时接入应用运行过程中产生的日志信息、故障信息及告警信息，对于监控到的故障信息，对故障期间丢失的数据进行数据补录；

建立数据广播和缓存电网运行数据的格式规范，把解析的在线监测数据、运行数据、雷电数据和气象数据进行广播到并存储到缓存消息队列上，按周期写入Hadoop分布式存储文件或HBase；

将接入的数据和监控数据进行可视化展示；

配置各业务系统的数据接入策略，包括与各个业务系统交互数据的规则协议、数据源地址、接口形式，其中，所述业务系统交互数据的规则协议主要包括实时数据交互协议、历史数据交互协议；

实时交互协议主要描述系统数据向系统数据提供方发送请求参数的解释和系统数据提供方相应返回的数据内容属性的解释，描述触发机制即使用实时数据交互协议的频率；历史数据交互协议与实时数据交互协议请求和返回相同，但非定期触发；

数据源地址主要描述系统数据提供方发布服务的ip地址及端口；

接口形式主要描述系统数据提供方的发布数据的方式。

2.如权利要求1所述的一种融合多源异构电网数据的获取和分布式存储方法，其特征是，建立的数据模型规范即为各个业务系统的数据属性，包括能量管理系统模型规范、雷电定位系统模型规范及气象系统模型规范；

雷电定位系统模型规范：制定接口协议获取雷击发生时间、位置、回击次数；建立雷电系统模型规范包括：雷电发生时间、精度坐标、纬度坐标、电流强度及回击次数；

气象系统模型规范：制定接口协议获取气象监测数据、雷达图数据、云图数据及天气预报数据；建立气象系统监测信息模型、雷达信息模型、云图信息模型及天气预报信息模型；

能量管理系统模型规范：制定接口协议获取电流、电压、有功功率、无功功率数据；建立EMS系统模型规范包括量测id、量测时间、量测类型和量测值。

3.如权利要求1所述的一种融合多源异构电网数据的获取和分布式存储方法，其特征是，配置的数据校验规则用于描述对于从系统数据提供方获取的数据的预清洗规则，包括基于时间序列的清洗、基于聚类算法的清洗、基于SVM的清洗、台账清洗规则；

其中，实时接入应用和历史接入应用综合数据接入策略及数据校验规则，依据数据模型规范实现各个业务系统的数据接入和解析。

4.如权利要求1所述的一种融合多源异构电网数据的获取和分布式存储方法，其特征是，所述实时接入应用运行过程中产生的日志信息为实时接入应用的过程信息，记录WebService开始访问、WebService访问完成或完成一次数据读取动作信息；

故障信息为实时接入应用的故障状态，包括网络故障、服务停止故障及存储故障；

告警信息描述为实时接入应用的告警状态，包括访问延迟或存储延迟。

5.如权利要求1所述的一种融合多源异构电网数据的获取和分布式存储方法，其特征是，所述建立数据广播和缓存电网运行数据的格式规范，格式规范旨在根据数据模型规范制定的符合缓存消息队列存储格式、区分业务系统和方便搜索查询的数据结构的业务表及解析分解出各系统运行数据消息的方法。

6.如权利要求1或5所述的一种融合多源异构电网数据的获取和分布式存储方法，其特征是，所述数据广播是将接入的实时数据写入缓存消息队列，作为实时分析处理和应用功能的数据源；

所述Hadoop分布式存储文件存储从缓存消息队列中定期持久化的数据，作为分布式分析处理的数据源。

7.如权利要求1所述的一种融合多源异构电网数据的获取和分布式存储方法，其特征是，所述可视化展示中通过界面展示实时接入应用接入的数据和监控数据，应用接入数据中量测值随着时间变化的曲线图展示；监控数据中直观展示Web服务状态和存储状态的界面展示。