[发明专利]一种针对海量电力网络大数据的存储分析方法

权利要求书

1.一种针对海量电力网络大数据的存储分析方法，其特征在于包括以下步骤：

步骤一、利用分布式存储模型将从客户端采集得到的海量电力网络大数据进行暂存，并将大数据初步解析分类成结构化数据、半结构化数据和非结构化数据后进行加密处理；

步骤二、对采集的数据初步解析后将其中的一些异常指标数据进行提取后单独导出对比，并将异常指标数据输出展示；

步骤三、基于分布式文件系统HDFS中建立第一缓冲层，将加密后的结构化数据存储至基于HDFS的Hive数据仓库中；

步骤四、基于分布式文件系统HDFS中建立第二缓冲层，将加密后的松散半结构化数据和非结构化数据存储至基于HDFS的分布式数据库HBase中；

步骤五、基于Neo4j构建电网的全景数据库，根据电力网络拓扑建立设备映射表,将分布式文件系统HDFS中分散、隔离的海量结构化数据、半结构化数据和非结构化数据有序地整合；

步骤六、在全景数据库中建立数据分区管理模块，分成水平分区管理和垂直分区管理进行内部整理；

步骤七、建立基于双层索引模型的高效索引方法，并基于互联网云平台提供存储查询的访问服务。

2.根据权利要求1所述的一种针对海量电力网络大数据的存储分析方法，其特征在于：所述步骤一中分布式存储模型是利用多台服务器分担存储负荷，同时后期通过扩展进一步提升分布式存储模型的存储性能。

3.根据权利要求1所述的一种针对海量电力网络大数据的存储分析方法，其特征在于：所述步骤二中对异常指标数据展示的同时及时发出警示，提醒相关人员密切关注，必要时对异常指标数据实行跟踪并及时做出相关处理。

4.根据权利要求1所述的一种针对海量电力网络大数据的存储分析方法，其特征在于：所述步骤三和步骤四中分布式文件系统HDFS是高容错性的分布式文件系统，部署在廉价的机器上以提供高吞吐量的数据访问，适合应用在大规模数据集上。

5.根据权利要求1所述的一种针对海量电力网络大数据的存储分析方法，其特征在于：所述步骤三中的第一缓冲层是基于DRAM和固态硬盘的多元化存储介质缓存结构，根据访问方式将访问数据划分为读数据和写数据，DRAM存储器即存储读数据也存储写数据，固态硬盘只存储写数据，写数据在存入DRAM存储器的同时也被固态硬盘存入。

6.根据权利要求1所述的一种针对海量电力网络大数据的存储分析方法，其特征在于：所述步骤四中的第二缓冲层是基于并行执行引擎的存储缓存结构，对松散半结构化数据和非结构化数据进行缓存，减小分布式数据库HBase的存储负荷。

7.根据权利要求6所述的一种针对海量电力网络大数据的存储分析方法，其特征在于：所述并行执行引擎是将一个存储或读取操作划分为多个相互独立的存储或读取操作并执行，执行完成后将结果汇总。

8.根据权利要求1所述的一种针对海量电力网络大数据的存储分析方法，其特征在于：所述步骤五中Neo4j是围绕图进行电力网络大数据建模，以“节点空间”来表达电力领域大数据，其会用和传统的关系数据库相同的速度遍历节点与边。

9.根据权利要求1所述的一种针对海量电力网络大数据的存储分析方法，其特征在于：所述步骤六中建立数据分区管理模块的水平分区管理和垂直分区管理以适应存储和访问同一记录的或存储和访问不同记录的同一属性的操作，缩短操作响应时间。

10.根据权利要求1所述的一种针对海量电力网络大数据的存储分析方法，其特征在于：所述步骤七中的基于双层索引模型建立高效索引方法是在对局部数据建立索引的基础上,对局部数据实际存储范围建立全局索引,提高数据查询、插入操作的时间性能，所述步骤七中存储查询的访问服务是通过互联网云平台接收系统和用户对电力大数据的存储查询请求，通过SQL语句和复杂的存储查询接口，来调用相关语句去执行存储查询的操作。