[发明专利]一种基于深度强化学习的微电网能量管理方法

说明书

一种基于深度强化学习的微电网能量管理方法涉及电力系统微电网领域。本发明针对微电网系统，提出一种基于多参数动作探索的Dueling DQN深度强化学习微电网能量管理与优化方法。在算法学习过程中，利用参数λ和参数ε来选择当前状态下最优的电力负荷和储能组件控制动作，可以提高学习效率，且在控制过程中能够降低用电成本和提升经济效益。

技术领域

本发明涉及电力系统微电网领域，是一种对微电网能量进行管理与优化的方法。

背景技术

随着可再生能源在发电能源中占比的提高，传统的集中式发电技术开始向对环境影响较小的分布式发电技术转变。可再生能源发电技术的大规模应用，对传统电网的运行和负荷侧的能量管理带来新的挑战，而微电网利用其可调控性和灵活性，可以有效解决分布式发电带来的并网问题以及相关负荷的能量管理问题。因此，引发学术界对微电网能量管理的大量研究。

在微电网运行过程中，其既可以与主电网并网运行，通过电力市场买卖能量，也可以单独运行，自主利用本地发电和存储能量。因此，对运行过程中的微电网进行合理的能量管理，会带来极高的经济效益，减少发电成本，避免长距离输电造成的能量损耗。

然而，面对可再生能源的灵活接入与不断变化的电力负荷，如何对微电网的能量进行管理与优化，是当前面临的重要挑战。为此，人们提出了基于深度Q网络(DQN)的强化学习算法来解决微电网的能量管理与优化问题，但该方法具有很高的不稳定性，且学习过程中无法找到合适的能量分配策略，导致较高的用电成本。

为进一步优化微电网的能量管理问题，本发明提出一种基于多参数动作探索的Dueling DQN深度强化学习微电网能量管理与优化方法，它能够提高微电网系统能量管理的效率，且具有很高的稳定性，能够降低用电成本，从而提升经济效益。

发明内容

本发明解决的技术问题是如何改善微电网的能量管理问题，进而提高微电网系统的工作效率与经济效益。

一种基于深度强化学习的微电网能量管理与优化的方法，包括以下实现步骤，如图2：

步骤(1)：初始化，设定微电网各组件的状态集s和动作集a，折扣因子μ(常数)，经验池D的容量N，一次训练所选取的样本数d，当前神经网络Q的参数(α，β)，目标神经网络Q′的参数(α′，β′)；用于计算调整λ的步骤参数σ₁和σ₂；

这里α，β分别表示当前网络中状态值函数网络V和优势函数网络A的超参数，α′，β′分别表示目标网络中状态值函数网络V和优势函数网络A的超参数。

步骤(2)：微电网系统观测当前系统状态s并选择一个初始动作a,其由{恒温控制负载控制的动作，家用价格响应负载控制的动作，微电网电量短缺时确定储能系统优先级的动作，微电网电量过剩时确定储能系统优先级储能系统的动作}组成；

这里观测状态主要完成对系统工作参数，如恒温控制负载的荷电状态值，价格响应的基本负荷值，风力发电的当前发电量，当前时间的温度值，从主网购买电量的价格，最高购电价等进行配置。

步骤(3)：将动作a执行到微电网系统，并以动作a对微电网系统各组件进行控制；

步骤(4)：计算微电网系统执行动作a所获得当前时间步t时奖励值r_t；

步骤(5)：微电网系统观测下一时刻其所处状态s′；

步骤(6)：微电网系统在经验池D中存储所得到的向量集(s,a,r,s′),即(当前时刻状态，当前时刻动作，当前时刻奖励，下一时刻状态)；

步骤(7)：若经验池已满，从经验池D中取一批数据样本，以对神经网络进行训练；

步骤(8)：构造当前网络Q和目标网络Q′，把数据样本输入到当前神经网络处理得到Q(s,a)值；