[发明专利]一种电-热-气综合能源系统双层协同控制方法

说明书

一种电‑热‑气综合能源系统双层协同控制方法，先构建由上层多智能体强化学习模型和下层潮流计算模型构成的双层决策控制模型，下层模型用于为上层模型提供系统的能流数据，上层模型则根据能流数据对智能体的决策行为进行奖励，再将采集的电、热、气负荷需求量等历史状态信息数据输入双层决策控制模型中进行迭代训练，随后采集综合能源系统的实时状态信息数据，并将其输入训练好的双层决策控制模型中，得到最优的综合能源系统出力，即热电联供机组的电出力、燃气锅炉的热出力、燃气轮机的电出力、电网向系统输送的电功率以及天然气网向系统输送的天然气量。本发明有效简化了奖励函数的设计，提高了模型的收敛性。

技术领域

本发明属于综合能源系统优化控制领域，具体涉及一种电-热-气综合能源系统双层协同控制方法。

背景技术

在“双碳”的国家战略下，2021年9月国家发改委印发《完善能源消费强度和总量双控制方案》，对“能耗双控”提出了更为完善的指标设置和落实机制，坚决管控高耗能高排放项目。在能源转型趋势下，综合能源系统(Integrated Energy System，IES)的能源主体也会发生改变。一方面，在能源侧风电、光伏、天然气等多种清洁能源的接入，增大了供电、供热等方面的不确定性；在负荷侧电动汽车、智能家居以及其他形式的能源负荷等可深度参与能源互动的新型负荷也给需求侧注入了新的不确定性因素。另一方面，综合能源系统整合区域内煤炭、石油、天然气、电能、热能等多种能源，而现有市场投资主体不断增加，意味着现有市场环境下，电网公司已经从能源网络建设的主导者变成了能源网络建设的重要参与者。不同于传统综合能源协同从整体角度出发的决策，综合能源系统的面向多个竞争主体，不同主体之间存在显著的博弈关系。在此背景下，如何在综合能源系统中考虑多元化投资主体的博弈关系，研究提出一种面向综合能源系统的控制策略，已成为一个亟待解决的问题。

另外，考虑到综合能源系统中电力、天然气等不同能源网络存在密切的耦合关系，综合能源系统的控制策略求解问题是一个非线性、非凸的优化问题，仅依赖于传统数学建模的方法难以进行求解。近年来，强化学习(Reinforce Learning，RL)在数据解析度、学习力和计算力方面有很大突破，被应用于智能制造、智慧医疗等领域，表现出良好的应用效果。但是，一方面，对于多智能体强化学习，随着智能体的增多，状态空间会变大，动作空间也会随之呈指数增长，这就会导致多智能体系统维度非常大，计算复杂；另一方面，多智能体系统中每个智能体彼此之间会存在相互耦合影响，奖励设计的优劣会直接影响学习到的策略好坏，因此奖励函数的设定是多智能体强化学习的难点。

发明内容

本发明的目的是针对现有技术存在的上述问题，提供一种能够简化奖励函数设计、提高模型收敛性的电-热-气综合能源系统双层协同控制方法。

为实现以上目的，本发明的技术方案如下：

一种电-热-气综合能源系统双层协同控制方法，依次包括以下步骤：

步骤A、构建双层决策控制模型，所述双层决策控制模型包括位于上层的多智能体强化学习模型、位于下层的潮流计算模型，其中，所述多智能体强化学习模型中的多智能体包括电网智能体、热网智能体、气网智能体；

步骤B、将采集的综合能源系统的历史状态信息数据输入双层决策控制模型中进行迭代训练，其中，所述状态信息数据包括电负荷需求量、热负荷需求量、气负荷需求量、可再生能源发电功率、实时售电单价以及购气单价；

步骤C、采集综合能源系统的实时状态信息数据，并将其输入训练好的双层决策控制模型中，得到最优的综合能源系统出力，即热电联供机组的电出力、燃气锅炉的热出力、燃气轮机的电出力、电网向系统输送的电功率以及天然气网向系统输送的天然气量。

步骤A中，所述多智能体强化学习模型的奖励函数为：

r＝(γF-r_pun)