[发明专利]基于具有时间隧道思想的多智能体强化学习的智能发电控制方法

说明书

技术领域

本发明涉及电力系统智能发电控制技术，特别涉及一种基于具有时间隧道思想的多智能体强化学习的智能发电控制方法。

背景技术

互联电网自动发电控制(Automatic Generation Control,AGC)是调节电网频率、有功功率和保证电网安全运行的重要技术手段。目前，AGC控制策略的设计多为经典PI控制结构。然而，由于电力系统运行点随日、月、季、年的不断变化，基于传统控制方法的固定增益控制器难以满足日益复杂的电力系统对控制性能的要求。神经网络方法、模糊控制、遗传方法等智能方法相继应用于AGC控制器的设计。传统PI控制和模糊控制可保证对受控对象存在的模型不确定性具有较高的鲁棒性，但在最优化设计方面还存在一定欠缺。随着间歇式新能源发电系统、电动汽车充电站和智能用户等会在未来几年内国家新能源政策大力支持下急剧增加，电网负荷发电平衡过程更接近于一个典型的非平稳强随机过程。已有理论研究表明，强化学习方法所具有的高度自学习与自寻优能力在解决调度端最优发电控制方面具有更好的协调性与鲁棒性。

多智能体强化学习算法是人工智能领域的热点研究方向，其中基于经典Q学习的算法框架体系最具代表性。针对不同的博弈形式，多种基于随机博弈论的强化学习算法被学者们陆续提出，如Minimax-Q、Nash-Q、Friend-or-Foe Q和CE-Q。图1为各类均衡博弈及对应的常用算法。但由于Minimax-Q是两个Agent的零和博弈、Nash-Q需要每个Agent都获悉其余Agent的行动和报酬、FF-Q要求Agent被告知所面临的敌友关系、CE-Q的Agent必须合作来联合学习均衡策略，致使这些算法的应用范围都较为局限。Bowling于2002年提出了一种改进的Q学习算法，即WoLF-PHC算法。它采用了混合策略，并且只需维持自身的一张Q值表。然而由于WOLF在2*2博弈中，无法对赢输标准进行精确计算，致使WoLF-PHC的决策仅能取决于估值均衡奖励进行探索。因此需要探索新方法，得到更优化的智能发电控制的方法，使其满足日益复杂的电力系统对控制性能的要求。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于具有时间隧道思想的多智能体强化学习的智能发电控制方法，该方法融合了PDWoLF-PHC算法、时间隧道思想和SARSA(λ)算法，以解决传统控制方法的固定增益控制器难以满足日益复杂的电力系统对控制性能的要求，该方法具有更强的适应学习率能力以及更快的学习速率比，具有更快的收敛速度以及更强的鲁棒性，并且在减少CE、提升新能源利用率方面效果显著。

本发明采取的技术方案为：

基于具有时间隧道思想的多智能体强化学习的智能发电控制方法，包括以下步骤：

步骤1、确定状态离散集S；

步骤2、确定联合动作离散集A；

步骤3、在每个控制周期开始时，采集各个电网的实时运行数据，所述实时运行数据包括频率偏差Δf和功率偏差ΔP，计算各个区域控制误差ACE_i(k)的瞬时值与控制性能标准CPS_i(k)的瞬时值，根据混合策略集合π(s_k,a_k)选择搜索动作a_k；

步骤4、在当前状态s，某区域电网i获得一个短期的奖励函数信号R_i(k)；

步骤5、通过计算与估计获得值函数误差ρ_k、δ_k；

步骤6、对所有区域电网，更新所有状态-动作(s,a)对应的Q函数表格和时间隧道矩阵e(s_k,a_k)；

步骤7、更新的Q值和更新当前状态s下的混合策略合策略π(s_k,a_k)；

步骤8、接着更新时间隧道元素e(s_k,a_k)；

步骤9、选择变学习率

步骤10、根据函数更新决策改变率Δ(s_k,a_k)和决策空间估计斜率Δ²(s_k,a_k)；

步骤11、返回步骤3。

所述步骤1的状态离散集S，通过控制性能标准CPS和区域控制误差ACE值的划分来确定。

所述步骤2的联合动作离散集A的表达式为：