[发明专利]基于广域测量系统的分布式数据处理

说明书

本发明通过广域测量系统，用它来储存广域监测系统WAMS(Wide Area Measurement System)大量的数据加载方法，利用MapReduce的软件架构，用于大规模数据集对许多的文件进行抽样加载和转换，将大量的文件分布和储存到各个云计算平台，实现数据的分类和备份处理，利用Mapredce优化关联Aprior算法对WAMS电网数据挖掘中的应用进行改进，利用Mapredce对数据处理算法的改进增强了该算法的并行处理能力。

技术领域

本方法采用信息领域技术，是一种数据处理方法，涉及了分布式技术。

背景技术

随着现代科学技术的不断发展，信息技术的不断踊跃在各个行业中，网广域测量系统作为电 网动态监测技术平台，是智能电网实时监控的重要部分，可实现对全网同步相角及电网各个站点主要数据的实时高速率采集；但是目前的WAMS平台的故障信息系统建设和诊断方法研究也存在问题;为了解决这些问题，基于广域测量系统的分布式数据处理有着极其重要的意义。

发明内容

基于广域测量系统的分布式数据处理,通过对数据模块进行处理主要包括数据加载模块和系统数据ＥＴＬ模块;通过采用同步相角测量技术，利用 ＰＭＵ。实现对并行数据ETL的主要方法为数据抽取和数据清洗转换;

基于广域测量系统的分布式数据处理,它主要是通过对平台架构进行设计。要设计包含在以下几个方面：

1、利用Mapredce将资源进行集群，通过对分布式文件系统（HDFS）可调用集群的最大存储资源；

2、将Mapredce作为处理数据的一个接口，让任务零散分布，使编程者对处理的过程以及结果实现了透明化，通过对Mapredce根据不同数据特点对接口进行调节，实现高容错率；

3、结合 Mapredce改进关联规则算法，可实现数据操作并行执行，提高了传统关联算法的效率。