[发明专利]电力系统有功潮流在线优化控制方法、存储介质和装置

权利要求书

1.一种电力系统有功潮流在线优化控制方法，其特征在于，包括以下步骤，

构建有功潮流在线优化模型，并配置为马尔可夫决策过程；

利用历史数据对所述马尔可夫决策过程智能体进行预训练，得到仿真电网环境智能体；

利用电网环境对所述仿真电网环境智能体进行强化训练，得到有功潮流在线优化控制器；

将电力系统的实时状态参数作为所述有功潮流在线优化控制器的输入，所述有功潮流在线优化控制器输出发电机最优决策，将所述发电机最优决策作用在对应的发电机中，实现实时最优控制。

2.根据权利要求1所述的电力系统有功潮流在线优化控制方法，其特征在于，所述马尔可夫决策过程中的参数包括电网状态参数、发电机动作参数、奖励值、状态转移以及折扣因子。

3.根据权利要求2所述的电力系统有功潮流在线优化控制方法，其特征在于，所述利用历史数据对马尔可夫决策过程智能体进行预训练，得到仿真电网环境智能体具体包括，

将电网状态和对应负荷的历史数据作为交流最优潮流求解器的输入，得到对应场景下的发电机最优动作，形成专家经验数据；

对所述专家经验数据经进行重组，将电网状态参数作为特征、所述发电机最优动作作为标签进行分类，然后将所述特征作为所述马尔可夫决策过程智能体的输入、所述标签作为所述马尔可夫决策过程智能体的输出对其神经网络进行预训练；

更新所述神经网络的权重与偏差，直到该神经网络的损失函数收敛，经过预训练的所述神经网络即为仿真电网环境智能体。

4.根据权利要求3所述的电力系统有功潮流在线优化控制方法，其特征在于，所述损失函数为

其中，μ_θ(a_t∣s_t)为神经网络θ的输出，a_t为选择的动作，s_t为当前状态，为真实的动作选择，N_IL为数据数量，D_mant为状态动作集合。

5.根据权利要求2所述的电力系统有功潮流在线优化控制方法，其特征在于，所述利用电网环境对所述仿真电网环境智能体进行强化训练，得到有功潮流在线优化控制器的步骤采用基于off-policy的PPO算法，PPO算法的框架包括Actor神经网络与Critic神经网络，将所述Actor神经网络作为仿真电网环境智能体，所述Actor神经网络学习随机优化策略函数，产生决策动作并与环境交互获得奖励，所述Critic神经网络拟合价值函数产生状态/动作价值，评估Actor神经网络的表现并指导Actor神经网络下一阶段的动作。

6.根据权利要求5所述的电力系统有功潮流在线优化控制方法，其特征在于，所述利用电网环境对所述仿真电网环境智能体进行强化训练，得到有功潮流在线优化控制器的过程包括，

将所述仿真电网环境智能体从电网中获取的电网状态参数、发电机动作参数和奖励值作为一个元组存入经验池，初始化所述经验池；

采集每一时间步长的电网状态、仿真电网环境智能体动作、奖励值以及下一时间步长的电网状态；

当前幕结束后，计算当前幕的累计折扣回报以及优势函数；

利用裁剪方式计算Actor神经网络的损失函数，对所述Actor神经网络进行更新；

计算Critic神经网络的损失函数并更新，直到Critic神经网络的损失函数值小于设定阈值，此时的Actor神经网络即为有功潮流在线优化控制器。