[发明专利]基于分布式多智能体强化学习的电网多断面功率控制方法

说明书

基于分布式多智能体强化学习的电网多断面功率自动控制方法，通过多智能体与电力仿真环境交互，能够自主学习合适的用于复杂电网的多断面功率控制策略。首先根据电网控制的需要选取N个目标断面，并依此构建强化学习方法的环境、智能体、观测状态、动作、奖励函数等基本元素；其次运行多断面功率控制任务交互环境，创造初始潮流数据集；之后，为每个智能体构造基于深度神经网络的决策网络和估值网络，构建MADDPG(多智能体深度确定性策略梯度)模型并引入分布式方法进行训练自主学习最优控制策略；最后，应用训练完成的策略网络自动断面控制。本发明的优点在于，采用多智能体强化学习方法处理复杂的电网多断面功率控制问题，具有较高的控制成功率且无需专家经验，同时引入分布式方法大幅提升了智能体训练效率。

技术领域

本发明涉及智能电网功率控制的技术领域，特别是基于强化学习的智能电网断面功率控制技术领域。

背景技术

随着大规模现代电网的建设，电力系统的组成结构和运行环境日益复杂。为保障电力系统运行的安全性与经济性，需要密切监控电网运行状态。近年来，由于化石能源的日益短缺,风能、太阳能等可再生新能源逐渐渗透进现代电网之中，电网运行的不确定性和复杂性增加。监测和调控数量众多的电气设备成为了十分困难的挑战。因此，当代电网亟需向具有更强鲁棒性、适自应性的智能电网转变。

电网断面功率控制是电网运行状态管理的基本任务之一，其自动化程度体现了电网的智能化水平。断面功率控制任务指通过执行合适的发电机调度策略从而使目标断面功率达到预设的区间内，多断面功率控制则要求所有目标断面功率同时满足各自的目标功率区间。电网断面定义为多条规定有功流动方向的支路组成的支路集。通常，断面可以将电网分割成互不连通的两个部分，因此断面往往承担着区域间功率交换的重要任务，对断面功率的控制影响着整体电网的稳定性和安全性。

电力系统是一个复杂的非线性系统，对于单个断面功率的控制策略不一定适用于其他断面，因此多断面功率控制问题是电网自动控制领域的难题。目前生产实践中通常有电力操作员根据日常调度经验对断面功率进行修改，一方面严重依赖专家经验，另一方面难以应对复杂多变的大型电网。目前，人工智能技术在电网自动化控制上具有较高的应用潜力，尤其是以深度强化学习为代表的控制决策方法，在诸如自动电压控制、自动发电控制等问题上已经出现了较多的研究成果。然而，目前并没有成熟的基于强化学习的多断面功率控制方法，尤其是针对具有高维复杂形态数据的大型电网。因此本发明引入多智能体强化学习方法来解决多断面功率问题，来解决电网复杂状态下的控制决策问题。

发明内容

为了克服现有电网多断面功率控制方法依赖专家经验、效率低、应用场景有限的不足，本发明提出了一种自适应的、高效的、拓展性强的基于分布式多智能体强化学习的电网多断面功率控制方法。该方法通过构造多智能体与电力仿真环境交互，以离线学习的方式探索断面功率控制策略，完成训练后可以应用到其他复杂的电网潮流状态，自动给出断面功率控制策略。

基于分布式多智能体强化学习的电网多断面功率自动控制方法，该方法包括以下步骤：

1)根据电网控制需要选取N个目标断面，并构建强化学习方法的基本元素，包括环境、智能体、观测状态、动作、奖励函数；

2)运行多断面功率控制任务交互环境，创造初始潮流数据集；

3)构造深度神经网络模型，应用多智能体深度确定性策略梯度(MADDPG)算法对决策智能体进行训练，引入分布式提高训练效率；

4)利用训练完成的智能体为多断面功率控制提供决策。

步骤1)的强化学习方法基本要素构建过程如下：

(1.1)构建以电力系统仿真环境作为智能体的交互环境，为智能体提供决策参考的电网各类属性、状态值。环境根据决策中的动作，修改电网中的相关电力参数，并进行潮流计算更新电网状态和断面功率计算。