[发明专利]一种基于强化学习的电网运行控制方法

权利要求书

1.一种基于强化学习的电网运行控制方法，其特征在于，包括：

获取电网在当前时刻的初始数据；

对所述初始数据进行预处理，得到所述电网在所述当前时刻的运行数据，其中，所述运行数据包括所述电网的供电负荷、电压、频率、发电容量、输电线路状态以及变电站状态；

根据所述供电负荷、所述电压、所述频率、所述发电容量、所述输电线路状态以及所述变电站状态，通过强化学习算法，得到所述电网的控制动作；

将所述电网在所述当前时刻的所述运行数据和所述控制动作输入电网环境动力学模型，得到所述控制动作对应的所述电网的状态转移和所述控制动作对应的奖励，其中，所述电网的状态转移为所述电网收到所述控制动作后的动态变化，所述控制动作对应的所述奖励代表所述控制动作的好坏，每输入一个所述控制动作对应一个所述奖励；

根据所述电网的所述状态转移和所述控制动作对应的所述奖励，通过所述强化学习算法，更新所述电网的所述控制动作；

当所述控制动作对应的所述奖励连续预设次数均超过所述预设奖励阈值时，停止更新所述电网的所述控制动作，并根据最后一次更新的所述控制动作控制所述电网的控制单元运行。

2.根据权利要求1所述的基于强化学习的电网运行控制方法，其特征在于，所述根据所述供电负荷、所述电压、所述频率、所述发电容量、所述输电线路状态以及所述变电站状态，通过强化学习算法，得到所述电网的控制动作，包括：

将所述供电负荷、所述电压、所述频率、所述发电容量、所述输电线路状态以及所述变电站状态作为所述强化学习算法的状态，输入所述强化学习算法；

根据所述强化学习算法的输出，得到所述强化学习算法的动作；

根据所述强化学习算法的动作，得到所述电网的所述控制动作，其中，所述电网的所述控制动作包括调整发电容量和调整输电线路的功率分配。

3.根据权利要求1所述的基于强化学习的电网运行控制方法，其特征在于，所述将所述电网在所述当前时刻的所述运行数据和所述控制动作输入电网环境动力学模型，得到所述控制动作对应的所述电网的状态转移和所述控制动作对应的奖励，包括：

根据所述电网在所述当前时刻的所述运行数据和所述电网的控制动作，通过所述电网环境动力学模型的状态转移函数，得到所述控制动作对应的所述电网的所述状态转移；

通过所述电网环境动力学模型的奖励函数，得到所述控制动作对应的所述奖励。

4.根据权利要求3所述的基于强化学习的电网运行控制方法，其特征在于，所述状态转移函数为： ；

其中，s为所述电网在当前的所述运行数据，a为所述电网的控制动作，S'为所述控制动作对应的所述电网的所述状态转移，T代表状态转移函数；

所述奖励函数为：；

其中，表示在所述电网在当前的所述运行数据下采取所述电网的控制动作所获得的奖励，是一个单一标量值，表示每一步中所获得的奖励。

5.根据权利要求1所述的基于强化学习的电网运行控制方法，其特征在于，所述根据所述电网的所述状态转移和所述控制动作对应的所述奖励，通过所述强化学习算法，更新所述电网的所述控制动作，包括：

根据所述电网的所述状态转移和所述控制动作对应的所述奖励，通过所述强化学习算法的值函数，更新所述电网的所述控制动作；

所述值函数为：；

其中，为值函数，α为学习率，γ为折扣因子，r为所述控制动作对应的所述奖励，为所述控制动作对应的所述电网的所述状态转移的最大Q值。

6.根据权利要求5所述的基于强化学习的电网运行控制方法，其特征在于，在所述根据所述电网的所述状态转移和所述控制动作对应的所述奖励，通过所述强化学习算法的值函数，更新所述电网的所述控制动作之前，所述方法还包括：

初始化Q值函数表，使为零；

设置所述学习率以及折扣因子，使所述学习率在0至1的范围内，使所述折扣因子在0至1的范围内。