[发明专利]一种用电大数据存储系统、预测算法及可视化展示平台

权利要求书

1.一种用电大数据存储系统，其特征在于，包括：

构建用电大数据分布式存储模型：

采用大数据框架构建数据湖存储系统；

采用Sqoop作为传统数据与数据湖存储系统之间的传输通道，将历史数据通过Sqoop导入到数据湖存储系统中；

采用Flume和Kafka构造多源数据传输通道，以使得多个用电数据源并行地将用电数据传输到数据湖存储系统；

对用电数据进行分层清洗：采用分布式数据库Hive和分布式文件系统HDFS对数据进行清洗，使用数据分层结构将原始数据与服务数据解耦，以使得每一层只处理简单的任务。

2.根据权利要求1所述的一种用电大数据存储系统，其特征在于：采用Hive和HBase作为用电数据湖存储系统，Hive可将SQL语法转换为map-reduce任务，调用集群资源在HDFS上搜索数据，采用HBase存储流式用电负载数据。

3.根据权利要求1所述的一种用电大数据存储系统，其特征在于：所述数据分层结构包括，原始数据层ODS，用于存放原始数据，直接加载用电设备原始数据；

明细数据层DWD，用于对原始数据进行清洗；

服务数据层DWS，用于对用电数据指标轻度汇总；

数据主题层DWT，用于按照不同用电设备的不同用电指标，对数据按主题汇总；

数据应用层ADS，用于为各种统计报表提供数据。

4.根据权利要求1所述的一种用电大数据存储系统，其特征在于：采用Tez引擎代替Hive默认的查询引擎Map Reduce，以使得可将多个有依赖的作业转换成一个作业。

5.一种用电大数据预测算法，其特征在于，包括：

采用Flink流处理框架对实时数据进行异常检测，采用Spark分布式计算框架，设计机器学习算法，对数据湖存储系统中导入的历史数据进行批处理分析，以获取用电设备的用电特征；

分析用电特征规律，以获取用电设备的运作健康状态；

利用获取的用电设备的运作健康状态，预测未来的用电趋势；

当实际用电与预测趋势存在较大差异时，则可认为当前用电设备有出现故障的可能。

6.根据权利要求5所述的一种用电大数据预测算法，其特征在于，将孤立森林算法融入Flink流处理框架，对n个数据样本，将其路径长度记为h(n),则其平均路径长度c(n)为：

其中，H(i)＝ln(i)+C，C为欧拉常数，通过归一化处理，可得到介于0-1之间的数即为被检测样本的异常分值，异常指数可表示为：

其中，E(h(x))为对给定值的路径长度的期望，s(x,n)表示对该值所对应的路径归一化，通过上述步骤，即可算出某一时刻用电数据的异常指数(0-1)，异常判断函数如下：

7.根据权利要求5所述的一种用电大数据预测算法，其特征在于，根据历史的用电数据建立Holt-Winters预测模型：将具体的的线性趋势、季节性趋势和随机变动的用电数据时间序列进行分解，并与指数平滑法结合，分别对长期趋势、季节性趋势和随机变动做出估计，建立预测模型，模型的初始值计算公式如下：

b_t＝0，(t＝1,2,L,)

Holt-Winters乘法模型基本公式为：

其中，X_t为t时刻的观测值；S_t为t时刻的稳定成分；I_t为t时刻的季节成分；b_t为t时刻的趋势成分；F_t+m为m时刻的预测值；m为预期的期数；L为季节长度；α，β，γ∈[0,1]为平滑指数；通过历史的用电数据预测出未来一段时间的用电趋势。

8.一种用电大数据可视化展示平台，其特征在于，将数据湖存储系统中分析后的数据与Superset对接：在创建Hive表的同时，关联HBase表，将HBase中的数据映射到Hive表中。

9.根据权利要求8所述的一种用电大数据可视化展示平台，其特征在于，基于数据应用层ADS依次执行步骤：创建数据源连接；连接数据表；图表类型选择；字段提取；条件过滤；执行查询；生成图表。