[发明专利]基于多智能体强化学习的配电网多区域协同无功优化方法

说明书

本发明公开了一种基于多智能体强化学习的配电网多区域协同无功优化方法包括：利用聚类算法进行配电网分区，将各子区作为一个智能体，构建无功电压优化模型；将配电网多区域协同控制的无功优化模型建模为多智能体的马尔科夫博弈模型；利用multi‑agent soft actor‑critic算法对各智能体构建独特的策略和价值网络；采用集中式训练、分散式执行的框架对各智能体进行训练；利用配电网历史数据进行离线训练，寻求动态系统不确定性的最佳解法，并将其部署至地方在线执行。本发明可以摆脱对精确物理模型和先验统计信息的依赖，可以在历史运行数据中捕获光伏出力和负荷的不确定性，训练好的智能体可以实时决策以避免在线计算时间过长；可以在有限的通信条件下实现全局最优的控制。

技术领域

本发明涉及电力系统自动化和计算机技术领域，具体为一种基于多智能体强化学习的配电网多区域协同无功优化方法。

背景技术

在这个背景下分布式新能源的装机容量在逐年递增，尤其是分布式光伏在最近几年都维持在30％的增长幅度。由于这些不断增加的光伏发电量，配电系统运营商(DSO)正面临着一些技术和运营方面的挑战，包括过压问题、变压器分接头更换频率的增加以及功率损失、违反线路的热限制等等。目前已经有许多无功优化的策略来解决这个问题，按照控制方式它们可以被分为集中式和分布式的控制策略。集中式控制需要广泛的通信线路，这无疑加大了投资成本。同时它受到计算瓶颈的困扰，而且对于今天的配电系统来说，通信也不是那么可靠。分布式控制策略在有限的通信链路下实现了各种控制设备之间的协调。结合配电网分区的方法通过协调各区域之间的设备在有限的通信下可以实现最佳的控制效果。

高比例新能源的接入同时也给无功电压优化(VVO)问题的求解带来了不确定性。目前常用的求解VVO问题的算法可以被分为基于模型的方法和不基于模型的方法。其中基于模型的方法通过预测或者概率分布函数来表征不确定性，然后将问题描述为数学规划模型进行求解。但是这种方法存在一定的局限，由于对精准参数和先验统计信息的依赖，它不能有效处理大规模分布式电源的随机性。由于求解问题的复杂性，基于模型的方法需要大量的计算时间，不能实时做出决策来应对分布式电源出力的快速波动。因此深度强化学习(DRL)作为一种无模型的方法被证明是一种有效的解决方法。DRL算法通过真实的历史运行数据不断和环境交互来学习系统的动态特性，以此来捕获问题的随机性。并且经过精心的训练和设计，DRL算法可以实时做出决策，以避免在线计算时间过长。而多智能体强化学习算法(MADRL)可以控制多个设备，在集中式训练和分散式执行的训练框架下，它可以在有限的通讯录条件下完成全局的优化，是处理配电网多区域协同控制问题有效的方法。基于上述问题，本发明提出了一种基于多智能体强化学习方法的配电网多区域协同无功优化策略，并验证了它的有效性。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述存在的问题，提出了本发明。

因此，本发明解决的技术问题是：如何在不依赖通信的情况下有效应对新能源快速波动，实现无功优化。

为解决上述技术问题，本发明提供如下技术方案：基于多智能体强化学习的配电网多区域协同无功优化方法，包括：

利用聚类算法进行配电网分区，将各子区作为一个智能体，构建无功电压优化模型；

将配电网多区域协同控制的无功优化模型建模为多智能体的马尔科夫博弈模型；

利用multi-agent soft actor-critic算法对各智能体构建独特的策略和价值网络；

采用集中式训练、分散式执行的框架对各智能体进行训练；

利用配电网历史数据进行离线训练，寻求动态系统不确定性的最佳解法，并将其部署至地方在线执行。