[发明专利]建立潮流状态调整的并行深度强化学习模型的方法及系统

权利要求书

1.一种建立潮流状态调整的并行深度强化学习模型的方法，其特征在于，包括：

建立潮流状态、动作、策略、奖励和回报，形成马尔科夫决策过程；

根据所述潮流状态、动作、策略、奖励和回报，定位调整目标、筛选可动作设备、计算发电机的动作量，所述调整目标包括不同的断面合集；

根据所述调整目标、可动作设备以及发电机的动作量，建立考虑N-1静态稳定约束的潮流状态调整的并行深度强化学习模型；

建立潮流状态、动作、策略、奖励和回报，形成马尔科夫决策过程，包括：

根据当前各线路的有功功率和发电机的有功功率，确定潮流状态空间为：

其中，s为潮流状态空间，P_Li和P_Gi分别为第i条线路和第i个发电机的有功功率，n_L为线路的数量，n_G为线路和发电机的数量；

通过动作发电机使潮流满足约束，确定动作空间为：

其中，A为动作空间，G_i为第i个发电机的标志位；

根据以下公式，确定策略，所述策略是一种动作的条件概率分布p：

π(a|s)＝p(a|s)

其中π为策略，a为动作；

建立潮流状态、动作、策略、奖励和回报，形成马尔科夫决策过程，还包括：

在当前潮流越限的情况下，确定当前潮流越限的奖励为：

其中，r为当前潮流越限的奖励，λ_R为奖赏系数，和分别为第i条线路的当前功率和功率上限，和分别为第i个节点的当前电压和电压下限；

建立潮流状态、动作、策略、奖励和回报，形成马尔科夫决策过程，还包括：

根据随着时间积累的奖励，确定回报：

其中，G为回报，t为时间，γ为衰减系数，τ为一个时间周期。

2.根据权利要求1所述的方法，其特征在于，建立潮流状态、动作、策略、奖励和回报，形成马尔科夫决策过程，还包括：

在N-1潮流越限的情况下，确定经过N-1计算后，得到N个缺失一个元件的潮流，根据N个潮流的越限情况，统计每条线路的累计越限数：

其中，NL为每条线路的累计越限数，为第i条线路的累计越限数；

根据所述每条线路的累计越限数以及线路总数，确定累计越限总数：

其中，N_ZL为累计越限总数，n_L为线路总数；

要使潮流满足N-1约束，将每次调整后的累计越限总数计入奖励，体现当前的越线情况，确定累计越限总数奖励为：

其中，r₁为累计越限总数奖励，和N_init分别为第j次调整后的越限数和初始越限数；

将每条线路在每次调整后的越限转移情况计入奖励，体现当前状态的越限情况，确定越限转移情况奖励为：

其中，r₂为越限转移情况奖励，为第j条线路的越限数，为第j条线路的初始越限数，和分别为初始越限数和当前增加越限数；

将越限功率计入奖励，体现当前的越限程度，确定越限功率奖励为：

其中，r₃为越限功率奖励，和分别为第j次调整后第i条越限线路的越限功率和越限线路数；和分别为初始状态下第i条越限线路的越限功率和越限线路数；

根据所述累计越限总数奖励、越限转移情况奖励以及越限功率奖励，确定N-1潮流越限的奖励。