[发明专利]一种自适应不确定性的电力系统动态经济调度方法

权利要求书

1.一种自适应不确定性的电力系统动态经济调度方法，其特征在于，包括以下步骤：

步骤1，导入电力系统中每个调度时段的状态变量，所述电力系统每个调度时段的状态变量包括每个调度时段的发电机组状态变量、每个调度时段的新能源状态变量、每个调度时段的负荷状态变量；得到的数据包含了所有调度时间段的状态，调度日数为D，以每个调度日作为一个调度周期，每个调度周期包含了T个调度时段；以下表述某个调度时段t的状态空间表述方法：

首先需要观测发电机组的出力值、向上备用容量、向下备用容量，N台发电机组的状态空间可用下式归纳：

s_G,t＝(P_1,t,P_2,t…P_N,t,U_1,t,U_2,t…U_N,t,D_1,t,D_2,t…D_N,t)

式中，下标中t表示第t个调度时刻，s_G,t表示发电机组状态空间，下标数字1，2，…N代表发电机编号，P代表功率，U代表发电机向上备用容量，D代表发电机向下备用容量；

其次对于具有随机性的光伏出力、风电出力、负荷，不仅考虑了其实时值的大小，还考虑了其时序相关性而引入其一次导数和二次导数：

s_M,t＝(P_PV,t,P_WT,t,P_L,t,P_PV,d1,t,P_WT,d1,t,P_L,d1,t,P_PV,d2,t,P_WT,d2,t,P_L,d2,t)

式中，下标中t表示第t个调度时刻，s_M,t表示第t个调度时段的随机状态空间，P_PV,t为第t个调度时段光伏出力，P_WT,t为第t个调度时段风机出力，P_L,t为第t个调度时段负荷需求；下标中d1表示一次导数，d2表示二次导数，第t个调度时段的一次导数和二次导数求解方法如下：

P_PV,d1,t＝P_PV,t-P_PV,t-1

P_PV,d2,t＝P_PV,t-2P_PV,t-1+P_PV,t-2

P_WT,d1,t＝P_WT,t-P_WT,t-1

P_WT,d2,t＝P_WT,t-2P_WT,t-1+P_WT,t-2

P_L,d1,t＝P_L,t-P_L,t-1

P_L,d2,t＝P_L,t-2P_L,t-1+P_L,t-2

式中P_PV,t为第t个调度时段光伏出力，P_WT,t为第t个调度时段风机出力，P_L,t为第t个调度时段负荷需求；P_PV,t-1为第t-1个调度时段光伏出力，P_WT,t-1为第t-1个调度时段风机出力，P_L,t-1为第t-1个调度时段负荷需求；P_PV,d1,t为第t个调度时段光伏出力的一次导数，P_WT,d1,t为第t个调度时段风机出力的一次导数，P_L,d1,t为第t个调度时段负荷需求的一次导数，P_PV,d2,t为第t个调度时段光伏出力的二次导数，P_WT,d2,t为第t个调度时段风机出力的二次导数，P_L,d2,t为第t个调度时段负荷需求的二次导数

则获取的维数为(3N+9)的状态空间最终可以表示为：

s_t＝{s_G,t,s_M,t}

式中，s_t为第t个调度时刻状态空间，s_G,t为第t个调度时刻发电机组状态空间，s_M,t表示第t个调度时段的随机状态空间；

步骤2，初始化策略网络和Q值网络，包括了：原策略网络参数θ^Q,目标策略网络参数θ^Q',原Q值网络参数θ^μ,目标Q值网络参数θ^μ'，设定学习迭代次数K，确定调度周期长度T,初始化经验池，设定动作-学习比例Z；初始迭代次数k＝0，调度时段t＝0；确定折扣因子γ∈[0,1]；

步骤3，初始化电力系统状态.随机选择一个调度日的第一个调度时段t＝0初始化状态空间s₀；迭代次数k＝k+1；

步骤4，根据策略网络输出决策动作值，并以探索性动作机制执行实际动作值，调度时段t＝t+1；实际动作值可用下式表示：

其中，是策略网络采取的实际动作,由常规发电机组功率调整值以及向上备用调整值向下备用调整值组成，a_t是输出的决策动作，n为随机噪声，p为随着迭代次数逐渐衰减的噪声占比；

步骤5，根据策略网络采取的实际动作计算即时奖励r_t；即时奖励r_t可由下式给出：

r_t＝-0.05(F_G,t+F_R,t+F_S,t)

式中F_G,t为发电机组在第t个调度时段的常规发电机成本，F_R,t为发电机组在第t个调度时段的备用成本，F_S,t为发电机组在第t个调度时段的随机性成本；具体为：

其中，下标中t表示第t个调度时段，对于第t个调度时段：h_i为第i个机组对应的常数项成本系数，b_i为第i个机组对应的一次项成本系数，c_i为第i个机组对应的二次项成本系数，模型内考虑有N个常规机组；

备用成本为系统预旋转备用产生的成本：

式中，下标中t表示第t个调度时段，对于第t个调度时段：F_R,t为备用成本，U_i,t为第i个发电机的向上备用容量，D_i,t为第i个发电机的向上备用容量,k_U为向上备用成本系数,k_D为向下备用成本系数；

随机性成本充分考虑了电力系统的不确定性，是由光伏以及风电出力的预测误差造成的，预测误差造成的功率差额可由旋转备用弥补，但超出备用裕量时会导致切负荷或是弃风、弃光现象：

F_S,t＝(c_UP_U,t+c_DP_D,t)+(c_LP_L,t+c_AP_A,t)t

式中,下标中t表示第t个调度时段，对于第t个调度时段：F_S,t为随机性成本，P_U,t是向上备用功率,P_D,t是向下备用功率,P_L,t是被切除负荷,P_A,t是弃风弃光总功率分，c_U是向上备用成本系数，c_D是向下备用成本系数，c_L是被切除负荷成本系数，c_U是弃风弃光成本系数；

步骤6，根据第t个调度时段策略网络采取的实际动作值和状态空间s_t＝{s_G,t,s_M,t}，确定下一个调度时段状态空间s_t+1；下一个调度时段状态空间s_t+1的发电机状态可由下式表示：

s_t+1＝{s_G,t+1,s_M,t+1}

其中，s_M,t+1为第t+1调度时段的随机状态空间，s_G,t+1为第t+1调度时段发电机状态；第t+1调度时段发电机状态s_G,t+1由第t个调度时段状态s_t和第t个调度时段采取的实际动作值决定：

步骤7，由步骤3-5得到状态转移过程；状态转移过程可由下式表述：

{s_t,a_t,r_t,s_t+1}

式中，s_t为第t个调度时段的状态空间，a_t为第t个调度时段策略网络的输出动作值，r_t为第t个调度时段的即时奖励，s_t+1是第t+1个调度时段的状态空间；

记录到经验池中，完成一次经验回收；利用动作-学习比例机制，每回收Z次进行一次学习，Z为设定好的动作-学习比例，作为优选，当Z＝4时，每产生4次动作，即产生了4次经验，而学习一次；学习是指更新神经网络参数，具体为如下步骤：

步骤7.1，更新原Q值网络：

其中，θ^Q为原Q值网络的网络参数，α_Q为原Q值网络的学习率，为梯度计算函数，L(θ^Q)为损失函数；损失函数L(θ^Q)具体为：

L(θ^Q)＝E(y_t-Q(s_t,a_t|θ^Q)²)

式中E(·)为数学期望函数,s_t为第t个调度时段状态空间，a_t|θ^Q为在原Q值网络参数为θ^Q条件下第t个调度时段原Q值网络的输出动作值,y_t为目标Q值，Q(s_t,a_t)为动作-值函数；目标Q值y_t可由下式计算：

y_t＝r_t+γQ(s_t+1,μ′(s_t+1|θ^μ′)|θ^Q′)；

式中r_t为第t个调度时段的即时奖励，γ为折扣因子，θ^μ′为目标策略网络参数，θ^Q′为目标Q值网络参数；μ′(s_t)表示在第t个调度时段条件下，目标网络输出的动作值，定义为：

前述式中，动作-值函数Q(s_t,a_t)可由下式定义：

式中，t表示第t个调度时段，s_t为第t个调度时段状态空间，a_t为第t个调度时段策略网络的输出动作值，E(·)为数学期望函数，T为调度周期长度，γ为折扣因子，r_t+m(s_t+m,a_t+m)为第t+m个调度时段的即时奖励；

步骤7.2，更新原策略网络：

式中，θ^μ为原策略网络的网络参数，α_μ为原策略网络的学习率，为梯度计算函数，μ为原策略网络输出的动作；计算方法为：

其中，下标t表示第t个调度时段，为梯度计算函数，s为状态空间，θ^Q为原Q值网络参数，θ^μ为原策略网络参数，a|θ^Q为在原Q值网络参数为θ^Q条件下的原Q值网络参数输出动作值；μ(s)表示原网络输出的动作值，定义为：前述式中，动作-值函数Q(s_t,a_t)可由下式定义：

步骤7.3，更新目标网络：

其中，θ^μ′为目标策略网络参数，θ^Q′为目标Q值网络参数，θ^Q为原Q值网络参数，θ^μ为原策略网络参数，τ为软更新模式下的网络更新速度，一般远远小于1；软更新模式导致目标网络更新很慢，好处是学习的稳定性增强，更易于收敛；

步骤8，若调度时段t小于调度周期T，则返回第4步；

步骤9，若动作次数k小于设定学习迭代次数K，则返回步骤3；否则，训练结束，输出训练后的模型。