[发明专利]一种基于非侵入式注意力预处理过程与BiLSTM模型的预测方法

说明书

本发明公开了一种基于非侵入式注意力预处理过程与BiLSTM模型的预测方法，采用非侵入式注意机制增强的深度学习模型用于长期能量消耗预测，由一个基于注意机制的预处理模型和一个通用的BiLSTM网络组成，称为AP‑BiLSTM。基于注意机制的预处理模型是由卷积层和全连接层的点积来完成，这两层进行原始输入数据的特征映射，这是提高AP‑BiLSTM方法性能的关键。通过这种方式，输入数据长期依赖关系中的本地和全局关联都得到了增强。本发明包括以下步骤：S1：非侵入式的数据预处理过程；S2：将S1中的结果输入进BiLSTM网络模型中，得出最终的预测结果。

技术领域

本发明涉及电力负荷预测技术领域，具体为基于已有时间段的用电数据，利用结合非侵入式注意力预处理与BiLSTM模型的预测方法来预测未来时间段的用电数据。

背景技术

电力负荷预测是根据电力负荷的过去和现在推测它的未来数值，进行电力负荷预测可以推知负荷的发展趋势和可能达到的状况，提高经济效益和社会效益。

当前的电力负荷预测方法大方向分为传统预测方法和现代预测方法，其中现代预测方法主要包括以下几种：基于卷积神经网络模型的预测方法，利用LSTM(long-short-term memory长短期记忆网络模型)模型结合时间序列预测电力系统负荷的方法，以及利用用电数据、温度、时间等多维数据进行直接卷积等神经网络方法，都取得了较好的效果。

其中，BiLSTM(Bi-directional long-short-term memory双向长短期记忆网络模型)是一种人工循环神经网络结构，非常适合基于时间序列数据的预测。BiLSTM模型解决了梯度消失问题，并提供了长期的相关性。然而，虽然BiLSTM在时间序列预测任务中表现良好，但序列计算的基本约束仍然存在。注意力机制可以解决这个问题，注意力机制使得模型在输入或输出序列中，无论输入数据的长度如何，都能获得更好的结果。但是当前结合注意力与BiLSTM等循环神经网络的模型中，通常需要对BiLSTM内部结构进行修改，增加了模型设计的难度。基于此，本发明将注意力机制作为一个预处理过程，再结合BiLSTM模型，既增强了模型的长期记忆能力，又避免了对BiLSTM模型内部的修改。

发明内容

本发明公开了一种基于非侵入式注意力预处理过程与BiLSTM模型的预测方法，采用非侵入式注意机制增强的深度学习模型用于长期能量消耗预测，由一个基于注意机制的预处理模型和一个通用的BiLSTM网络组成，称为AP-BiLSTM。基于注意机制的预处理模型是由卷积层和全连接层的点积来完成，这两层进行原始输入数据的特征映射，这是提高AP-BiLSTM方法性能的关键。通过这种方式，输入数据长期依赖关系中的本地和全局关联都得到了增强。

技术方案

一种新的用于电力负荷预测的基于非侵入式注意力预处理过程与BiLSTM模型的预测方法，包括以下步骤：

S1：非侵入式的数据预处理过程；

S2：将S1中的结果输入进BiLSTM网络模型中，得出最终的预测结果。

S1中：基于非侵入式注意力机制的数据预处理，训练数据经过该处理模块后所得出的输出已经学习了时间序列前后数据之间的关系，但是仍然可以作为新的输入，输入进BiLSTM网络中，具体包括以下步骤：

S1.1：将原始输入数据表示为：x₁,x₂,…,x_m，其中1,2,…,m表示输入时间序列的时长，则总长度为m，则该数据可用形状为(m,1)的矩阵表示。对数据进行根据时间序列滑动窗口采样预处理，窗口长度记为window_size，依次截取形状为(window_size,1)的窗口数据，作为样本，构造样本数据集，则预处理后的每个样本可以表示为：x₁,x₂,…,x_{window_size}，则总样本数据可用形状为：(m,window_size,1)的矩阵表示；