[发明专利]一种针对海量电力网络大数据的存储分析方法

说明书

本发明公开一种针对海量电力网络大数据的存储分析方法，步骤一、并进行解析分类大数据，步骤二、异常指标数据展示提醒，步骤三、建立第一缓冲层并存储结构化数据，步骤四、建立第二缓冲层并存储半结构化和非结构化数据，步骤五、基于Neo4j构建全景数据库，步骤六、建立数据分区管理模块，步骤七、建立高效索引方法；本发明建立第一缓冲层和第二缓冲层对海量大数据进行缓冲存储，利用分布式存储模型的特性，用多台服务器分担存储负荷，提高了存储性能，分布式文件系统HDFS和数据分区管理模块，对海量大数据进行分布式存储和多向分区有效管理，建立高效索引方法极大地缩短了存储和后期查询的响应时间，降低了数据管理难度。

技术领域

本发明涉及电力网络大数据技术领域，尤其涉及一种针对海量电力网络大数据的存储分析方法。

背景技术

信息技术的飞速发展以及广泛的应用，使得电力生产企业、交易部门及用户使用物联网和互联网积累了大量的数据，随着数据库应用的规模、范围不断地扩大，电力管理部门及相关企业利用计算机管理事务能力的增强，产生了庞大的大规模数据集，将如此庞大的数据集采集并存储到服务器上是非常复杂的，原本很多数据采集算法在数据集规模较小时尚能取得不错的采集效果，但是针对大规模数据集，计算量非常复杂，采集存储非常麻烦；

现有的传统技术数据处理能力将电力大数据统一进行存储，不但增加了存储器的负载，而且无法对大量的电力数据进行合理规划整理，同时简单的索引会为后期的管理查询造成较大的麻烦，因此，本发明提出一种针对海量电力网络大数据的存储分析方法以解决现有技术中存在的问题。

发明内容

针对上述问题，本发明的目的在于提出一种针对海量电力网络大数据的存储分析方法，该针对海量电力网络大数据的存储分析方法建立第一缓冲层和第二缓冲层对海量大数据进行缓冲存储，利用分布式存储模型的特性，用多台服务器分担存储负荷，提高了存储性能，分布式文件系统HDFS和数据分区管理模块，对海量大数据进行分布式存储和多向分区有效管理，建立高效索引方法在对局部数据建立索引的基础上再次建立全局索引，极大地缩短了存储和后期查询的响应时间，降低了数据管理难度。

为实现本发明的目的，本发明通过以下技术方案实现：一种针对海量电力网络大数据的存储分析方法，包括以下步骤：

步骤一、利用分布式存储模型将从客户端采集得到的海量电力网络大数据进行暂存，并将大数据初步解析分类成结构化数据、半结构化数据和非结构化数据后进行加密处理；

步骤二、对采集的数据初步解析后将其中的一些异常指标数据进行提取后单独导出对比，并将异常指标数据输出展示；

步骤三、基于分布式文件系统HDFS中建立第一缓冲层，将加密后的结构化数据存储至基于HDFS的Hive数据仓库中；

步骤四、基于分布式文件系统HDFS中建立第二缓冲层，将加密后的松散半结构化数据和非结构化数据存储至基于HDFS的分布式数据库HBase中；

步骤五、基于Neo4j构建电网的全景数据库，根据电力网络拓扑建立设备映射表,将分布式文件系统HDFS中分散、隔离的海量结构化数据、半结构化数据和非结构化数据有序地整合；

步骤六、在全景数据库中建立数据分区管理模块，分成水平分区管理和垂直分区管理进行内部整理；

步骤七、建立基于双层索引模型的高效索引方法，并基于互联网云平台提供存储查询的访问服务。

进一步改进在于：所述步骤一中分布式存储模型是利用多台服务器分担存储负荷，同时后期通过扩展进一步提升分布式存储模型的存储性能。

进一步改进在于：所述步骤二中对异常指标数据展示的同时及时发出警示，提醒相关人员密切关注，必要时对异常指标数据实行跟踪并及时做出相关处理。