[发明专利]一种基于Spark计算引擎的配电网大数据分区处理方法

说明书

本发明公开了一种基于Spark计算引擎的配电网大数据分区处理方法，按照供电单元格对海量负荷数据进行统计分析，从中提取出对配电网规划管理有实用价值的电力指标，包括以下步骤：步骤1：搭建配电网大数据处理平台，以用电信息采集系统、PMS为数据源进行城市负荷分析；步骤2：将数据源中的数据导入Spark成为弹性分布式数据集RDD，对RDD中的城市负荷数据进行预处理；步骤3：按照城市负荷数据中配电变压器坐标对配电变压器进行单元格区分；步骤4：根据步骤2和步骤3计算城市负荷指标。

技术领域

本发明涉及采用计算机技术对于配电网大数据进行处理、计算的计算方法，旨在从海量的配网数据中提取出对于配电网规划、管理有实用价值的电力指标，属于大数据价值挖掘领域，特别涉及一种基于Spark计算引擎的配电网大数据分区处理方法。

背景技术

随着国家电网公司建设坚强电网战略目标的提出，智能用电终端和采集终端数量日益扩大，使得各种类型的电力自动化数据出现几何级的增长，呈现出“体量大”、“类型多”、“密度低”和“增速快”的典型大数据特征。在配电网的管理与规划过程中，电力负荷统计指标、电压分析统计指标等一系列数据可以为配电网发策部门提供电力系统规划、设计、调度提供决策的依据。国内已有传统电力系统信息平台的建设大多采用价格昂贵的大型服务器，存储采用磁盘阵列，数据库采用关系数据库系统，业务应用采用紧密耦合的套装软件，导致系统扩展性较差、成本较高，难以适应智能电网对状态监测数据可靠性和实时性的更高要求。2006年Hadoop分布式计算平台发布，2009年，伯克利大学提出和发展了Spark计算平台，在Hadoop分布式计算的基础上，引入了内存计算，使数据计算速度得到10倍乃至100倍的提升。Hadoop 大数据处理框架可以很好的解决数据量剧增带来的瓶颈，且具备良好的可靠性和可扩展性、数据处理量大、实时性高、成本低廉等优势。HDFS(HadoopDistribute File System)是Hadoop上的分布式文件系统。HDFS有着高容错性的特点，采master/slave 结构，并且用来设计部署在廉价的硬件上。它提供高吞吐量来访问数据，适合那些大量数据的应用程序。

国内外将大数据技术运用于配电网数据分析的实例并不罕见，但目前使用该架构的程度仅仅停留于对于配电网数据的聚类预测，并未有按照供电单元对配电网数据进行分类规划统计，提供与用户有直接关联的单元格负荷统计分析指标展示服务的先例。

发明内容

发明目的：采用基于MapReduce分布式计算框架的大数据计算平台，按照供电单元格对海量负荷数据进行统计分析，从中提取出对配电网规划管理有实用价值的电力指标。

为了实现上述目的，本发明提出了一种基于Spark计算引擎的配电网大数据分区处理方法。一种基于Spark计算引擎的配电网大数据分区处理方法，包括以下步骤：

步骤1：搭建配电网大数据处理平台，以用电信息采集系统、PMS为数据源进行城市负荷分析；

步骤2：将数据源中的数据导入Spark成为弹性分布式数据集RDD，对RDD 中的城市负荷数据进行预处理；

步骤3：按照城市负荷数据中配电变压器坐标对配电变压器进行单元格区分；

步骤4：根据步骤2和步骤3计算城市负荷指标。