[发明专利]电力系统有功潮流在线优化控制方法、存储介质和装置

说明书

本发明公开一种电力系统有功潮流在线优化控制方法、存储介质和装置，其中方法包括构建有功潮流在线优化模型，并配置为马尔可夫决策过程；利用历史数据对马尔可夫决策过程智能体进行预训练，得到仿真电网环境智能体；利用电网环境对仿真电网环境智能体进行强化训练，得到有功潮流在线优化控制器；将电力系统的实时状态参数作为有功潮流在线优化控制器的输入，经运算输出发电机最优决策，将发电机最优决策作用在对应发电机中，实现实时最优控制。本发明通过“状态——动作——奖励”的交互训练框架，得到了有功潮流最优控制在线模型，尤其在面对大规模电力系统时，可实时做出发电机最优出力控制，在满足电力系统运行约束的条件下，降低系统发电机出力成本。

技术领域

本发明涉及电网有功潮流优化控制技术领域，特别涉及一种电力系统有功潮流在线优化控制方法、存储介质和装置。

背景技术

近年来，人工智能、数据驱动相关技术的推进，使得基于人工智能的优化方法在电力系统中得到了广泛应用。电力系统有功潮流优化的目标就是在充分满足电网安全运营约束下，最小化发电机出力成本。电力系统的有功潮流优化往往包含了多个不同的变量、多个约束，是一个典型的非线性、高维度问题。在对于传统电力系统中的有功和优化研究中，常用的计算方法包括非线性规划、二次规划、牛顿法等；此外，用于非线性复杂空间中采取随机或近似随机方式寻找最优求解的算法，比如遗传算法、模拟退火算法、粒子群算法等也广泛应用于对有功优化的求解中。这些方法存在计算速度慢、易陷入局部最优、依赖于模型与预测数据等问题。随着配电网规模的增加以及有功可控设备装置数量的增多，使得传统方法求解有功优化问题的复杂度大大提高，不再适用于在线控制的有功优化求解。

传统的OPF模型求解速度慢，无法满足新型电力系统下的控制需求。在实现收敛方面具有时间紧迫性，尤其当系统规模越来越大。同时，传统思路根据当前时间断面的状态通过解OPF算法求出单步最优解，但是无法解决连续时间断面下的最优控制。

发明内容

为了解决上述问题，本发明提供一种电力系统有功潮流在线优化控制方法、存储介质和装置。基于深度强化学习的框架对智能体神经网络进行训练，实现对电力系统有功潮流进行优化控制的目的。

本发明第一方面，提供一种电力系统有功潮流在线优化控制方法，包括以下步骤，

构建有功潮流在线优化模型，并配置为马尔可夫决策过程；

利用历史数据对所述马尔可夫决策过程智能体进行预训练，得到仿真电网环境智能体；

利用电网环境对所述仿真电网环境智能体进行强化训练，得到有功潮流在线优化控制器；

将电力系统的实时状态参数作为所述有功潮流在线优化控制器的输入，所述有功潮流在线优化控制器输出发电机最优决策，将所述发电机最优决策作用在对应的发电机中，实现实时最优控制。

本发明采用机器学习算法，利用历史数据对有功潮流在线优化模型进行预训练，然后利用深度强化学习算法根据实时的电网状态，对电力系统有功潮流进行优化控制。

在一些实施例中，所述马尔可夫决策过程中的参数包括电网状态参数、发电机动作参数、奖励值、状态转移以及折扣因子。

在一些实施例中，所述利用历史数据对马尔可夫决策过程智能体进行预训练，得到仿真电网环境智能体具体包括，

将电网状态和对应负荷的历史数据作为交流最优潮流求解器的输入，得到对应场景下的发电机最优动作，形成专家经验数据；

对所述专家经验数据经进行重组，将电网状态参数作为特征、所述发电机最优动作作为标签进行分类，然后将所述特征作为所述马尔可夫决策过程智能体的输入、所述标签作为所述马尔可夫决策过程智能体的输出对其神经网络进行预训练；

更新所述神经网络的权重与偏差，直到该神经网络的损失函数收敛，经过预训练的所述神经网络即为仿真电网环境智能体。