[发明专利]基于大数据的全景电网多元异构数据融合方法

摘要

本发明提出一种基于大数据解决全景电网多元异构数据融合的有效方法，定义常规广域测量系统、故障录波器、轻型广域测量系统的通信规约，明确各自的量测数据格式与类型；然后对主站监听的数据帧分流解码，在内存中高效抽取、存储、清洗、标准化数据后，在多机分布式的非关系型数据库中管理大规模异构数据；最后，在底层数据接口上进行大数据的在线分析与离线知识发现。本发明有益效果：本发明通过大规模异构数据融合实现将三种电网监测系统统一在一个平台框架下综合分析，实现电网多电压等级的全景式动态行为监测，充分利用现有设备资源减少重复投资的同时，全面提高了电网的运行控制水平。

主权项

一种基于大数据的全景电网多元异构数据融合方法，其特征是，包括如下步骤：步骤1)：构建整合了常规广域测量系统、故障录波器与轻型广域量测系统的全景式电网网络拓扑结构，利用MVC 3层架构设计确定平台整体框架；步骤2)：确定常规PMU、故障录波器、PMU Light三种设备与主站交互数据的传输方式与数据帧配置；步骤3)：明确这三种设备的量测数据类型与结构特点、数据采集频率、发送间隔与各自GPS时标的精度；步骤4)：建立设备与主站的连接通信，收集各站点设备的量测数据，在主站设置统一的网络监听收集这三种格式的实时数据帧完成数据集中；步骤5)：对收集到的数据帧根据各自的标志位特点进行数据类型判定，区分每一条数据来自何种设备，将数据送入相应的处理单元进行分流；步骤6)：分流后的数据各自进行解码，根据数据帧格式抽取各物理量的量测值在计算机内存中等待整合存储；步骤7)：对不同子系统的相同类型数据选择统一的标准做一致化处理，获得标准化数据；步骤8)：由于原始数据中会发生噪声数据、冗余数据及缺失数据等问题，对数据进行清洗，填补缺失数据、删除重复数据，以提高后续数据挖掘的质量；步骤9)：将预处理后的仪器异构数据通过HBase分布式数据库提供的接口存入到底层HDFS分布式文件系统中，确定异构数据在HBase中的存储格式；步骤10)：定位提取HBase中的大量异构数据，利用HBase非关系型数据库的特点实现对大规模异构数据的随机、实时读写查询访问；步骤11)：在大规模数据集的挖掘上，借助大数据挖掘工具MapReduce、Mahout完成在HDFS基础上进行数据挖掘可以对电力系统状态估计、频率稳定、功角稳定、电压稳定、解列控制、故障诊断、网络拓扑分析等问题进行知识发现；步骤12)：在小规模数据集的挖掘上，利用Hadoop Streaming实现非Java语言的接入，综合利用R、python、C++其它语言在小规模数据上挖掘的优势进行知识发现；步骤13)：将仪器数据分析的结果存储在关系型数据库mysql上，发挥其对小规模数据集查询方便、维护方便的优势进行组织管理；步骤14)：结合人机功效学进行数据可视化，在人机交互平台综合显示三个系统的直接量测信息与数据挖掘后的知识发现信息。