[发明专利]一种互联电网CPS指令动态分配优化方法

说明书

技术领域

本发明涉及电力系统自动发电控制技术领域(即二次调频)，特别涉及一种互联电网CPS指令动态分配优化方法，该动态分配优化方法适用于火电占优、机组组合复杂的互联电网CPS指令动态分配优化。

背景技术

自从在互联电网自动发电控制(Automatic Generation Control，AGC)中提出控制性能标准(Control Performance Standard，CPS）后，CPS的合格率就成为影响AGC控制策略的重要因素。AGC控制系统的关键步骤之一就是把CPS总调节指令根据一定的优化算法分配到各台AGC机组。

传统的AGC调节功率在进行分配时采用了平均分配法,并没有考虑各机组间的差异,并不能满足CPS调节需要。除强化学习外，现有关于CPS控制策略的设计多数为经典PI控制结构，均能提高CPS指标，其中文还引入NARX神经网络预测及模糊控制原理对CPS控制策略进行了研究，在提高CPS考核率的基础上，一定程度降低了机组的频繁动作。传统PI控制和NARX神经网络预测及模糊控制可保证对受控对象存在的模型不确定性具有较高的鲁棒性，但在最优化设计方面还存在一定欠缺。已有理论研究表明，强化学习方法所具有的高度自学习与自寻优能力在解决调度端最优发电控制方面具有更好的协调性与鲁棒性。余涛，王宇名，刘前进在《互联电网CPS调节指令动态最优分配Q-学习算法》（中国电机工程学报）中提出了一种基于Q学习的CPS指令动态最优分配方法，能很好地适应运行环境的变化，分配行为不固定，提高了整个AGC系统的控制适应性及鲁棒性。针对单步Q学习在火电占优、机组时延较大的自动发电控制(AGC)功率指令动态优化分配中的应用表现出收敛速度慢等不足而影响最优策略的获取，余涛，王宇名，甄卫国，等在《基于多步回溯Q学习的自动发电控制指令动态优化分配算法》（控制理论与应用）中引入了资格迹解决了火电机组大时滞环节带来的延时回报问题，提高算法收敛速度,满足在线应用的实时性要求,并在保持AGC高合格率的前提下节省系统调节成本。为解决基于Q学习多台机组下的分配过程中的维数灾难问题，余涛，王宇名，叶文加，刘前进在《基于改进分层强化学习的CPS指令多目标动态优化分配算法》中将全网机组按调频时延做初次分类，CPS指令逐层分配形成任务分层结构，在分层Q学习算法层与层之间引入一个时变协调因子，改进的分层Q学习算法有效提高原算法收敛速度。虽然经典强化学习可以在满足电网CPS考核标准前提下得到收敛的均衡点，但在分配过程中采用机组出力组合空间有限的分配因子动作策略，使得寻到的均衡点并不一定是最优的均衡点，各类机组的调节较频繁，收敛步数也相对较长，收敛后CPS1和ACE实时曲线不够平滑。此外，Q学习、Q(λ)学习和分层Q学习在本质上都是单智能体强化学习算法，并未涉及到各智能体之间的协同学习，各智能体的动作组合并不一定是联合最优动作。本发明方法CEQ(λ)(Correlated-Equilibrium-Q(λ))是通过相关均衡强化学习在多个智能体之间对策博弈可以形成比单智能体Q学习、传统PI控制和NARX神经网络预测及模糊控制更优的均衡点，更适用于煤电占优、机组组合复杂的互联电网CPS指令动态最优分配，有效提高了系统的适应性和鲁棒性。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种互联电网CPS指令动态分配优化方法，该优化方法是一种基于CEQ(λ)多智能体协同学习的互联电网CPS指令动态分配优化方法；CEQ(λ)学习算法，是对CEQ算法的改进，也是强化学习从单智能体向多智能体发展的重要分水岭，每个智能体的动态动作策略不再单纯地决定于自身的历史动作策略和奖励值，而是依赖于其它智能体的动作概率所形成的动态平衡点。此外，在CEQ(λ)在CPS指令动态分配应用中，每种类型AGC机组的指令分配动作不再是前面提到文献里所采用的比例系数，而是实际机组动作的增减出力，所有类型AGC机组的联合动作组合空间比前面提到文献中的要大得多，提高了寻找更优均衡点的概率。

本发明的目的通过以下技术方案实现：一种互联电网CPS指令动态分配优化方法，包括以下步骤：

步骤1、确定控制目标；

步骤2、确定状态离散集S；

步骤3、选择一类机组为平衡机组，其他机组参与CEQ(λ)协同学习，同时确定联合动作离散集A；

步骤4、在每个控制周期开始时采集所控制区域电网的实时运行数据，所述实时运行数据包括频率偏差Δf、功率偏差ΔP和各台机组的实际调节出力ΔP_Gi，计算该区域控制误差ACE(k)的瞬时值与控制性能标准CPS(k)的瞬时值；