[发明专利]一种基于Spark的需求侧负荷预测方法

摘要

本发明的目的是将Spark大数据平台与LSTM神经网络负荷预测方法相结合，避免单机数据挖掘模式所面临的问题。为了达到上述目的，本发明的技术方案是提供了一种基于Spark的需求侧负荷预测方法。本发明基于深度学习领域中的LSTM神经网络方法来构建负荷预测模型，能够精确地预测出电力负荷；基于Spark内存并行计算框架来并行负荷预测，将LSTM神经网络算法进行并行化，对历史负荷数据进行并行化分析，缩短负荷预测时间，提高LSTM神经网络算法对大数据的处理能力。

主权项

一种基于Spark的需求侧负荷预测方法，其特征在于，包括以下步骤：步骤1、采集目标区域某一时间跨度内的历史电力负荷数据及对应的历史温度数据，形成原始数据集；步骤2、利用Spark平台将原始数据集转换为弹性分布式数据集，包括以下步骤：步骤2.1、利用Spark平台将原始数据集转换为原始弹性分布式数据集，即原始RDD数据集；步骤2.2、对原始RDD数据集进行FlatMap操作，将其映射成n个(key，value)键值对；步骤2.3、对步骤2.2的每个(key，value)键值对进行Map操作，按照Map映射函数程序逻辑重新进行映射，形成新的(key，value)键值对；步骤2.4、对步骤2.3得到的(key，value)键值对按照key分组后，调用预先定义的函数对每组分组进行处理，每组分组返回一个结果键值对；步骤2.5、根据key字段连接步骤2.3得到的(key，value)键值对及步骤2.4得到的结果键值对，产生新的RDD数据集；步骤2.6、将步骤2.5得到的RDD数据集缓存在内存中；步骤2.7、判断步骤2.2形成的n个(key，value)键值对是否全部处理完毕，若是，则将内存中的RDD数据集保存到文件系统中，否则返回步骤2.3；步骤3、提取文件系统中的RDD数据集的特征值，并划分为训练数据集及测试数据集；步骤4、基于Spark平台，对LSTM神经网络算法进行并行化实现，利用训练数据集对并行化后的LSTM神经网络算法进行训练，得到预测模型；步骤5、由预测模型对测试数据集进行预测，并利用平均绝对百分比误差和加速比来评估模型预测效果。