[发明专利]用于风电计划功率跟踪的储能设备控制策略制定方法

摘要

一种用于风电计划功率跟踪的储能设备控制策略制定方法，其步骤如下a.输入基础数据；b.初始化Q值函数；c.设置时段数t＝1、已实施的动作选择次数Nn＝0；d.确定混合系统所处的状态；e.选择控制动作；f.得到混合系统输出功率偏差控制目标值；g.计算储能设备在t时段的输出功率需求值；h.计算储能设备在t时段的实际输出功率；i.计算t时段混合系统实际输出功率偏差；j.计算立即回报值；k.确定储能设备t+1时段充放电状态；l.确定t+1时段混合系统控制动作；m.对Q值函数进行修正；n.若达到规定的学习步数，训练结束，否则t＝t+1、Nn＝Nn+1，转至步骤d。本发明可实现对储能设备的合理控制，有利于降低风储备用费用，降低风电输出功率波动对电网运行的影响。

主权项

一种用于风电计划功率跟踪的储能设备控制策略制定方法，其特征是，所述方法在电力市场背景下，基于强化学习理论，采用SARSA学习方法制定风储混合系统输出功率控制策略，具体步骤如下：a.输入基础数据，包括：混合系统与电网交易的各类费用参数；混合系统申报的计划功率、混合系统申报的备用容量、风电实际输出功率；储能设备功率限值、容量限值、充放电效率、免惩罚时段数；SARSA学习算法参数；其中，混合系统与电网交易的各类费用参数包括备用电量价格、备用惩罚系数；SARSA学习算法参数包括学习因子、折扣因子、学习步数和惩罚系数；b.初始化Q值函数；c.设置时段数t＝1、设置已实施的动作选择次数Nn＝0；d.根据储能设备t时段初始时刻存储电量Es,t、风电实际功率与风储混合系统计划值之差ΔPh,t、储能设备充放电状态Ks,t、混合系统申报的备用容量确定t时段风储混合系统所处的状态st；e.根据当前状态st、值函数Qt(s,a)选择控制动作at，具体步骤如下；①在[0,1]区间内取随机数TR；②计算概率阀值TH：式中：Nn为已经实施动作选择的次数；NT为训练全过程动作选择的总次数；③进行动作选择：若TR＞TH，随机从可行动作集A中选择动作at；若TR≤TH，选择贪婪策略作为本时段动作，即：f.根据动作at与混合系统功率偏差控制目标值的一一对应关系，得到t时段混合系统输出功率偏差控制的目标值；g.根据混合系统输出功率偏差控制目标值计算储能设备功率控制需求值h.计算储能设备在t时段的实际充放电功率若t时段储能设备的控制设定值需校验储能设备发出功率后，是否超出储能设备容量下限，若超出则需修正：式中：Es,t为t时段初始时刻储能设备存储电量；ηd为储能设备的放电效率；Δt为时段持续时间；Esmin为储能设备容量下限；为求取储能实际输出功率时暂存的临时值；若需校验储能设备吸收功率后，是否超出储能设备容量上限，若超出则需修正：式中：ηc为储能设备的充电效率；Esmax为储能设备容量上限；此外，储能设备实际输出功率还应满足有功功率上限约束、下限约束，若超出有功功率上限或下限，则需修正：式中：Psmax为储能设备有功功率上限；Psmin为储能设备有功功率下限；为储能设备实际输出功率；i.计算t时段混合系统实际输出功率偏差值式中：为t时段风电实际输出功率；为混合系统向电网申报t时段计划功率值；j.计算t时段的立即回报值rt+1(st,at)：rt+1(st,at)＝Cr(t)+Cp(t)+Ca(t)+Cc(t)Cr(t)为备用电量费用，Cp(t)为实际使用备用超出申报备用时产生的惩罚费用，计算公式分别为：式中：λr,t为t时段的备用电量价格；λp为混合系统实际使用备用超出申报备用范围时，电网对混合系统的惩罚费用系数；Rh,t为混合系统申报的t时段备用容量；Ca(t)为t时段混合系统实际控制效果达不到所设定的控制目标值设定的惩罚费用，计算公式为：式中：kc为储能设备功率需求值与实际值不符对应的惩罚系数；Cc(t)为t时段储能设备充放状态转变对应的惩罚：式中：kk为频繁充放电对应的惩罚系数；Ks,t为储能连续充、放电持续时段数，正数表示已连续充电时段数，负数表示已连续放电时段数；Ksmax为免惩罚时段数，当储能连续充电或放电Ksmax个时段后，改变充电、放电状态不会受到惩罚；k.根据Ks,t和t时段的充放电行为更新储能设备t+1时段充放电状态Ks,t+1：l.识别t+1时段风储混合系统所处的状态st+1，根据动作选择策略确定t+1时段风储混合系统控制动作at+1；m.对Q值函数进行修正：Qt+1(st,at)＝Qt(st,at)+α[rt+1(st,at)+γQt(st+1,at+1)‑Qt(st,at)]式中：Qt(st,at)为经过t‑1次修正后的最优动作值函数；α为学习因子；γ为折扣因子；n.若达到规定的学习步数NT，训练结束，按照Q值函数执行贪婪策略即控制策略；若未达到规定的学习步数，t＝t+1、Nn＝Nn+1，转至步骤d。