[发明专利]建立潮流状态调整的并行深度强化学习模型的方法及系统

说明书

本申请公开了一种建立潮流状态调整的并行深度强化学习模型的方法及系统。其中，该方法包括：建立潮流状态、动作、策略、奖励和回报，形成马尔科夫决策过程；根据所述潮流状态、动作、策略、奖励和回报，定位调整目标、筛选可动作设备、计算发电机的动作量，所述调整目标包括不同的断面合集；根据所述调整目标、可动作设备以及发电机的动作量，建立考虑N‑1静态稳定约束的潮流状态调整的并行深度强化学习模型。

技术领域

本申请涉及电力系统技术领域，特别是涉及一种建立潮流状态调整的并行深度强化学习模型的方法及系统。

背景技术

潮流方式分析与调整是电网仿真分析最基础的工作，为判别电网运行及规划设计方案的合理性、安全可靠性及经济性提供了定量分析的依据。其根据潮流分析的结果或者后续仿真计算的要求，修改电网潮流方程的参数和结构，将潮流方程的解调整至符合实际情况或后续仿真需要的值，生成运行方式。其中，将潮流状态调整至满足N-1静态稳定约束是重要的步骤之一。在实际工作中该项任务主要依靠人工进行潮流状态调整，自动化程度低。一般步骤是先对初始潮流进行N-1计算，观察潮流的越限情况，然后根据越限情况调整发电机的出力，然而在这个过程中，由于调整方向性不强、调整大小不明确，容易出现此消彼长的情况，导致调整效率的低下。

目前对潮流运行状态的调整进行了研究。一方面，通过最优潮流提出了一个最优潮流问题，其中考虑的区域是用灵敏度分析来定义的。通过电流注入法，以N-1安全性为目标。利用统一潮流控制器研究了电力系统的最优潮流控制问题。一种混合整数线性规划模型用以优化确定用于角度调整的移相变压器的子集，在最优潮流问题中，该子集可以调整为使总发电成本最小。通过了一种新的事故筛选模型来加速安全约束下的最优潮流，使在线应用成为可能。另一方面，通过一种实用的基于直流潮流模型灵敏度分析的有功潮流调整方法，提出了缓解流量敏感性的概念，用于在非重载线路上安装串联电容器，以缓解输电线路之间的负载差异。然而，无论是最优潮流还是构建指标，当应用于实际大电网时，由于约束条件复杂、电网规模大，目前对潮流运行状态的调整方法在大电网应用中的效果和收敛性较差。

针对上述的现有技术中存在的无论是最优潮流还是构建指标，当应用于实际大电网时，由于约束条件复杂、电网规模大，目前对潮流运行状态的调整方法在大电网应用中的效果和收敛性较差的技术问题，目前尚未提出有效的解决方案。

发明内容

本公开的实施例提供了一种建立潮流状态调整的并行深度强化学习模型的方法，以至少解决现有技术中存在的无论是最优潮流还是构建指标，当应用于实际大电网时，由于约束条件复杂、电网规模大，目前对潮流运行状态的调整方法在大电网应用中的效果和收敛性较差的技术问题。

根据本公开实施例的一个方面，提供了一种建立潮流状态调整的并行深度强化学习模型的方法，包括：建立潮流状态、动作、策略、奖励和回报，形成马尔科夫决策过程；根据所述潮流状态、动作、策略、奖励和回报，定位调整目标、筛选可动作设备、计算发电机的动作量，所述调整目标包括不同的断面合集；根据所述调整目标、可动作设备以及发电机的动作量，建立考虑N-1静态稳定约束的潮流状态调整的并行深度强化学习模型。

根据本公开实施例的另一方面，还提供了一种建立潮流状态调整的并行深度强化学习模型的系统，包括：形成马尔科夫模块，用于建立潮流状态、动作、策略、奖励和回报，形成马尔科夫决策过程；计算动作量模块，用于根据所述潮流状态、动作、策略、奖励和回报，定位调整目标、筛选可动作设备、计算发电机的动作量；建立模型模块，用于根据所述调整目标、可动作设备以及发电机的动作量，建立考虑N-1静态稳定约束的潮流状态调整的并行深度强化学习模型。

在本发明中，通过满足静态稳定的潮流调整过程，构建潮流调整的马尔科夫决策过程。然后基于调整目标的定位、可动作设备的筛选以及动作量的计算，制定潮流状态调整策略，并通过灵敏度、转移比以及负载裕度加速调整过程。再建立并行深度强化学习模型，映射动作至潮流调整，形成发电机动作对，实现多断面目标并行调整。并且，对强化学习的动作策略和深度学习的网络进行改进，提升了学习效率。

附图说明