[发明专利]一种用电大数据存储系统、预测算法及可视化展示平台

说明书

本发明涉及大数据存储及处理技术领域，具体为一种用电大数据存储系统、预测算法及可视化展示平台，建立用电数据存储和处理模型，实现对大规模用电数据的存储、异常检测和趋势预测，利用Flink流处理组件，结合孤立森林算法和Holt‑Winters算法，实现对实时用电数据的异常检测和用电趋势的预测。集成多种先进的大数据组件，搭建用于用电数据存储和分析的大数据平台，具备存储海量原始数据的能力；较强的横向扩展能力；高性能分布式数据计算能力；实时的数据可视化功能，利用企业级BI可视化程序Superset对用电指标进行实时展示。

技术领域

本发明涉及大数据存储及处理技术领域，具体为一种用电大数据存储系统、预测算法及可视化展示平台。

背景技术

电力数据规模呈指数级增长，传统存储面临性能瓶颈，新的存储架构是未来趋势。目前，日益增长的用电数据呈现出海量、高速与多样性特征，这使得传统的数据(MySQL,Oracle,SQLServer等)已无法满足用电数据的存储需求，主要有以下原因：首先，传统结构化数据库只能存储结构化数据，在存储结构复杂的电力数据时非常吃力。其次，传统结构化数据库有存储空间阈值，达到阈值后，存储性能会急速下降。大数据技术的出现正是弥补现有数据库的这些不足。2013年中国电机工程学会信息化专委会发布了《中国电力大数据发展白皮书》，掀开了中国电力大数据研究与发展的帷幕。利用大数据打造智慧用电服务系统，已成为目前消防行业的重要研究方向。目前，大数据技术在用电消防面临着存储模式的转变和业务融合应用两方面的难题。现有电力大数据方案在电力数据的存储和分析方面缺乏使用分布式的大数据存储模型和高性能的分布式计算框架，大多方案只是结合简单的大数据框架进行探索性实验，并没有形成完整的电力大数据处理体系。大数据的处理思维是结合更多的服务器或计算机，通过协调机制，使得多台计算机共同完成数据存储与处理任务，电力数据方面也需要使用大数据的思维。面对海量且日益增长的动态用电数据，传统体系结构受限于关系模型，无法从中挖掘有效信息，并以多个维度对数据进行分析和利用，充分发挥电力数据价值。

大数据已经上升为国家战略，经过近几年的发展，大数据已经初步形成一个较为完整的产业链，并且相关产业规模在不断扩大。将大数据技术运用到电力消防领域，旨在打造一个能够存储和处理海量用电数据的电力监控系统，从而更快速、更精准地监控电气设备，通过大数据可视化方案更高效地掌控用电健康状态，以保证更及时地发现电气设备的故障问题，并及时处理，降低因电气故障造成火灾的概率，也推动电气火灾治理工作的进展。

发明内容

(一)发明目的

为解决背景技术中存在的技术问题，本发明提出一种用电大数据存储系统、预测算法及可视化展示平台。

(二)技术方案

为解决上述问题，本发明第一方面提供了一种用电大数据存储系统，包括构建用电大数据分布式存储模型：

采用大数据框架构建数据湖存储系统；

采用Sqoop作为传统数据与数据湖存储系统之间的传输通道，将历史数据通过Sqoop导入到数据湖存储系统中；

采用Flume和Kafka构造多源数据传输通道，以使得多个用电数据源并行地将用电数据传输到数据湖存储系统；

对用电数据进行分层清洗：采用分布式数据库Hive和分布式文件系统HDFS对数据进行清洗，使用数据分层结构将原始数据与服务数据解耦，以使得每一层只处理简单的任务。

优选的，采用Hive和HBase作为用电数据湖存储系统，Hive可将SQL语法转换为map-reduce任务，调用集群资源在HDFS上搜索数据，采用HBase存储流式用电负载数据。

优选的，所述数据分层结构包括，原始数据层ODS，用于存放原始数据，直接加载用电设备原始数据；

明细数据层DWD，用于对原始数据进行清洗；