[发明专利]基于Hadoop的变电站主设备在线监测系统构架方法

说明书

技术领域

本发明涉及基于Hadoop的变电站主设备在线监测系统构架方法，属于电工技术领域。

背景技术

进入21世纪以来，信息化席卷全球，迎来了数据大爆炸的时代，从商业公司的运营到个人的日常生活消费再到互联网的数字文档、视频音乐等内容的大量生产，整个社会的不同类型的海量数据以大爆炸的方式喷发出来。目前，对于大数据还没有具体明确的定义，主要体现为体量规模巨大、类型复杂繁多。与传统的数据相比，大数据的特点可以归纳为规模性（Volume）、多样性（Variety）、高速性（Velocity）和低价值密度性（value），由于这些特点，大数据的采集、存储、管理和运算方式也与传统数据有很大不同，而其价值就在于从海量看似无关的数据中挖掘出有用的信息。一些领先的对大数据探索的公司如谷歌、微软、亚马逊等已经在大数据系统的基本构架、分布式文件存储和分布式数据处理等关键领域给出了很好的解决方案。

目前国网系统中有成千上万台在线监测装置，随着国民经济的发展电网规模不断扩大以及在线检测技术的飞速发展，电力设备的在线监测数据呈几何性增长。在线监测本身又具有实时性，在电力设备运行的每时每刻都在不断产生体量巨大、类型各异的海量在线监测数据。因此，智能变电站在线监测数据具有规模大、增长快、实时性、类型复杂多样、地域分布广等特点，这给在线监测数据的处理带来了巨大的挑战，表现为以下几点：

（1）在线监测数据基本为正常数据。由于一次设备制造技术水平的不断提高，同时目前变电站设备的管理和维护自动化技术的普及，使得电气设备的故障率维持在极低的水平。而且像断路器这类开关设备动作不是十分频繁，因而在线监测的分合闸电流、储能电机电流、三相动触头位移等动作时信号采集周期较长，采集的大部分非动作时间区间内的数据价值较低。因此在线监测的数据中异常时数据比例很低，需要对异常数据进行辨识和挖掘才能实现故障诊断和状态检修。

（2）电气设备监测参数和实际状态关系模糊、内涵机理复杂，一些无法用函数进行精确表达。目前人工神经网络（ Artificial Neural Networks，ANN ）、支持向量机（ Support Vector Machine，SVM ）、粗糙集与模糊理论等智能算法被广泛的应用于电气设备是故障诊断，这些算法对于处理模糊和不确定性参数关系，发现其隐含的潜在规律较为适合，而大数据处理算法更关注于数据间的相关关系却不注重因果关系，所以基于大数据思想的相关算法能够有效处理电气设备的在线监测数据。

（3）在线监测数据采集的数据量大，一般是以数据流的形式上传，需要能够快速地对数据流进行处理。在线监测数据为实时采集且数据量大，对于上传的数据需要进行及时地故障诊断，因而必须利用大数据的技术手段实现数据流内数据的快速准确地分析处理。

综上所述，本发明将在互联网、金融、物流等领域较为火热的大数据技术引入到智能变电站电气设备在线监测的数据处理中。利用大数据的数据处理存储、管理和处理技术，并结合Hadoop 云计算实现快速、高效、准确、低成本的实现在线监测数据处理。

发明内容

目的：为了克服现有技术中存在的不足，本发明提供基于Hadoop的变电站主设备在线监测系统构架方法。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

一种基于Hadoop的变电站主设备在线监测系统，包括：以变电站主设备在线监测装置构成的数据采集层，以关系数据库MySQL，Hadoop构架中的分布式文件系统HDFS及其所包括的分布式数据库HBase构成的数据存储层，采用MapReduce软件框架构成的数据应用服务层，以及对电气设备状态参数的全景展示的数据可视化层。

一种基于Hadoop的变电站主设备在线监测系统构架方法，包括如下步骤：

步骤一：将变电站主设备在线监测装置构成数据采集层；

步骤二：通过数据采集层采集不同一次设备的数据；所述数据性质分为：动态时序数据、静态数据、视频数据；所述动态时序数据包括：机械信号、电信号，所述静态数据包括：用户数据、杆塔数据。

步骤三：以关系数据库MySQL，Hadoop构架中的分布式文件系统HDFS及其所包括的分布式数据库HBase构成数据存储层；将静态数据存储在MySQL中；视频信息存储在HDFS中，动态时序数据存储在HDFS文件系统上的HBase中；

步骤四：采用MapReduce软件框架构成数据应用服务层，完成对变电站在线监测状态信息的并行处理，根据用户的需求存储或查询数据；