[发明专利]一种微电网储能协调控制的方法

说明书

一种微电网储能协调控制的方法涉及电力系统微电网领域。本发明针对微电网系统，提出了UCB A3C深度强化学习的微电网储能协调控制方法。在算法学习过程中，利用UCB动作探索机制来选择当前状态下微电网负荷组件、储能组件以及与电网进行电量交易的控制动作，可以提高微电网学习迭代过程中的鲁棒性，且能够提高微电网控制效率，从而提升微电网的经济效益。

技术领域

本发明涉及电力系统微电网领域，是一种微电网储能协调控制的方法。

背景技术

在环境保护和能源需求大幅增长的压力下，建立综合能源系统，提高能源综合利用率是降低碳排放，消纳新能源，促进能源转型的重要途径。微电网利用其既可以与主电网并网运行，也可以单独运行的特点，有效解决了能源综合利用率低的问题，被认为是接纳各种能源高度渗透的理想平台。

然而，随着可再生能源不断接入主电网，提高了能源供给的波动性，科技发展带来不断变化的电力负荷，提高了负荷侧的不确定性。这一系列变化，使得如何更高效地对微电网进行储能协调控制，从而达到减少发电成本和降低运输能量损耗的目的。

人工智能技术的发展，利用深度强化学习算法进行该问题的求解也受到了相关人员的关注，并且在应用过程中，深度强化学习算法的灵活性、可扩展性和优越性也得到验证。基于此，人们提出了基于策略梯度的Actor Critic算法来进行微电网储能协调控制，证明了可以以最小化能源成本为目标来调度微电网各组件，但该方法的鲁棒性较差，且学习过程中无法找到合适的储能协调控制策略，导致较高的用电成本。

为进一步提高微电网的储能协调控制，本发明提出一种基于UCB A3C深度强化学习的微电网储能协调控制方法，它能够提高微电网系统学习过程中的鲁棒性，且在应用过程中，可以提高能量管理的效率，从而达到降低用电成本，提升经济效益的目的。

发明内容

本发明解决的技术问题是如何提高微电网策略学习过程中的鲁棒性，进而改善微电网储能协调控制效率低的问题，从而达到提升微电网系统经济效益的目的。

一种基于深度强化学习的微电网储能协调控制方法，包括以下实现步骤，如图2：

步骤(1)：初始化，设定微电网各组件的状态集s和动作集a，公共部分A3C神经网络结构的参数(θ，ω)，当前线程A3C神经网络结构对应参数(θ'，ω')，一次训练所选取的样本数d，全局共享的迭代次数T，当前线程总的迭代时间步数N_t，初始时间t，设定开始时刻t_start，设定最大迭代次数T_max；

这里θ，ω分别表示公共部分A3C神经网络结构Actor和Critic的参数，θ'，ω'分别表示当前线程A3C神经网络结构Actor和Critic的参数。

步骤(2)：重置公共部分A3C神经网络结构Actor和Critic的梯度更新量，其分别为dθ和dω，并设定初始值dθ为0，dω为0；

步骤(3)：从公共部分A3C神经网络更新当前线程A3C神经网络结构Actor和Critic的参数：θ'＝θ，ω'＝ω。

步骤(4)：微电网系统观测当前系统状态s_t；

这里系统状态主要完成对微电网系统工作参数的配置，包括直接可控制负荷的荷电状态值，不可直接控制负荷的基本负荷值，风力发电的当前发电量，当前环境的温度值，从电网购买电量的价格，向电网销售电量的价格，最高购电价。

步骤(5)：基于策略π(a_t|s_t,θ)选择动作a_t,并将动作a_t执行到微电网系统，以动作a_t对微电网系统各组件进行控制；