[发明专利]一种非完备模型下的配电网分布式无功优化方法及系统

说明书

本发明提供一种非完备模型下的配电网分布式无功优化方法及系统，其中方法包括：根据配电网潮流约束、含变压器支路约束建立配电网无功功率控制模型；将配电网无功功率控制模型的控制变量分配给多个智能体；基于Q‑learning方法的分布式RL算法，对多个智能体进行训练，获得每个智能体的分布式/局部奖励信号；基于平均共识算法对每个智能体的分布式/局部奖励信号进行共享；每个训练好的智能体根据分布式/局部奖励信号生成Q值表；根据各智能体Q值表生成控制信号，实现配电网分布式无功功率的控制。本发明克服了集中式算法的缺点，将平均共识算法和Q‑learning方法的分布式RL算法相结合，实现了智能体之间的信息共享，应用灵活，易于适应环境的变化。

技术领域

本发明属于微电网无功优化技术领域，特别涉及一种非完备模型下的配电网分布式无功优化方法及系统。

背景技术

无功优化可以维持电力系统电压稳定或使电压保持在安全的范围内。在无功优化中，通常选择电网中负荷母线的实际网损和稳态电压偏差作为优化目标，负荷母线电压、供需平衡、无功发电的无功功率和发电机界等作为约束条件。无功功率控制(EfficientReactive Power Control，ERPC)优化算法多种多样，如线性规划、内点法、梯度法和智能算法等。以上算法都是大多是集中式的。集中式控制器收集全局运行状况，需要中央控制器处理大量数据。这造成了数据处理的延迟，不适合在线优化。

随着电网复杂度的不断提高，无功功率的控制变得非常困难，需要更多的自动化控制装置来缩短响应时间。针对这一问题，分布式控制技术得以应用，其通过减轻计算量来提高运算速度。为了弥补研究之间的差距，基于多智能体系统的方法被用来满足日益增长的复杂性和解决基于EPRC的问题。现有的方法大多是通过对问题进行分解来控制EPRC，并以分布式的方式来解决EPRC问题。为了适应电力系统日益增长的复杂性，研究者们开发了许多模拟自然现象的算法，它们具有很强的适应性和最优性以适合于在线应用。由于这种复杂性使得基于模型的设计很难建立，为了更好地进行复杂性分析，需要考虑不依赖于模型的算法。因此，机器学习算法被用于暂态电压稳定、无功问题，并用于解决上述问题。

强化学习(Reinforcement Learning，RL)是一种引人注目的机器学习模型，它处理不同智能体在不确定的协作环境中如何进行顺序操作，并从反馈优化器中学习并优化性能，帮助克服日益增长的复杂性和不确定性的挑战。在反馈过程中，解决方案根据奖励信号自我更新，并估计和推进解决方案的实施。然而，对于基于RL的分布式问题，如何在不同的智能体之间生成和分配奖励信号，并从他们的行为中学习是一个挑战。在马尔可夫决策过程(Markov Decision Process，MDPs)中，每个智能体的目标是映射每个状态和行为，以使得总折扣报酬最大化。

现阶段，针对配电网的分布式无功优化方法问题存在以下不足：

(1)现有技术都需要专门的智能体与其他智能体进行协调，这些方法存在单点失效的问题，应用起来不够灵活。因此，分散地建立和分配不同的智能体来控制无功较为繁琐。

(2)现有技术基于多智能体强化学习的文献对于随机环境的收敛性和不同智能体之间的协作关系仍存在不足。

发明内容

针对上述问题，本发明提供一种非完备模型下的配电网分布式无功优化方法及系统，具有兼容性广、适应性强的特点。

本发明提供一种非完备模型下的配电网分布式无功优化方法，包括以下步骤：根据配电网潮流约束、含变压器支路约束建立配电网无功功率控制模型；将配电网无功功率控制模型的控制变量分配给多个智能体；基于Q-learning方法的分布式RL算法，对多个智能体进行训练，获得每个智能体的分布式/局部奖励信号；基于平均共识算法对每个智能体的分布式/局部奖励信号进行共享；每个训练好的智能体根据分布式/局部奖励信号生成Q值表；根据各智能体Q值表生成控制信号，实现配电网分布式无功功率的控制。

进一步的，配电网潮流约束具体如下：