[发明专利]一种基于图论和深度强化学习的多微网系统能量路由方法

说明书

本发明公开了一种基于图论和深度强化学习的多微网系统能量路由方法，步骤如下：(1)风机、光伏、负荷、储能以及能量路由器功率模型构建；(2)建立单一微网功率平衡方程；(3)建立储能系统的成本损耗模型和使用寿命惩罚函数；(4)能量路由器及网络传输成本损耗模型；(5)利用图论的方法构建多微网系统环境状态空间；(6)建立能量路由器动作空间和来自拓扑结构改变的反馈奖励函数；(7)利用强化学习方法训练路由轨迹；(8)建立多微网间能量传输最小成本函数。本发明在使用图论的方法提取多微网拓扑结构的基础上用深度强化学习算法对电网数据加以分析和利用，综合考虑了储能系统的折损成本以及能量路由器和网络的损耗，有利于提高多微网系统能量管理的经济性。

技术领域

本发明涉及电力系统理论和人工智能的交叉技术应用领域，特别是一种基于图论和深度强化学习的多微网系统能量路由方法。

背景技术

如今，人类社会的飞速发展加剧了化石能源的消耗，迫使人类面临能源危机，再加上国家“双碳”目标以及经济因素的影响，人们更加的重视利用可再生能源，如：风力发电、光伏发电等。构建含高比例可再生能源的能源互联网有助于促进能源系统绿色转型、实现“双碳”目标。而多微网系统作为区域能源互联网的一种典型场景，近年来备受关注。得益于传感技术与电力电子技术的发展，多微网系统中大量的分布式发电设备、分布式储能、可调节负荷等设备通过能量路由器相连接，促使能量从单向传输变为双向传输，保证可调节负荷的快速响应，以满足多微网系统中可再生能源消纳的要求。但是在进行多微网系统能量管理时，如果过度使用储能就会极大地增加储能寿命折损成本，而如果在微网间进行能量交换又会增加能量路由器和网络的损耗。因此，在多微网场景下，如何制定能量路由策略，实现就地消纳量和外部消纳量的合理分配，以实现多微网运行整体经济性最优成为了亟需解决的问题。

面对大量可控设备，传统的多微网能量管理方法通常需要本地基础结构来访问每个设备，这不仅导致成本增加，而且限制了处理数据的大小。此外电网中的大量数据掩盖了许多有价值的信息，传统方法很难对这些数据加以分析和利用。而随着储能装置及其应用的快速发展，传统方法很少考虑微网内储能设备充放电或进行微网间能量交互哪一个更符合能量管理经济性的要求。

发明内容

发明目的：本发明的目的是提供一种基于图论和深度强化学习的多微网系统能量路由方法，从而确保整个多微网系统运行成本最小。

技术方案：本发明所述的一种基于图论和深度强化学习的多微网系统能量路由方法，包括以下步骤：

(1)用随机微分方程模拟光伏、风机以及负荷的功率变化，建立光伏、风机、负荷的功率模型，利用常微分方程模拟储能系统充电状态，建立储能系统的功率模型，分析能量路由器能量传输方式，建立能量路由器的功率模型；

(1.1)用常微分线性方程模拟光伏、风机以及负荷的功率变化得到这些设备的初步功率模型，然后用维纳过程来模拟其随机性，在一系列反馈逼近后得到光伏、风机、负荷的功率模型；所述的光伏、风机、负荷的功率模型如下：

其中，P^PV(t)，P^W(t)，P^L(t)分别表示光伏、风机以及负荷的输出功率，t为系统所处的时刻；则是用线性常微分方程来建立光伏、风机发电时以及负荷用电时的功率初步模型，其中a^PV，a^W，a^L为风机、光伏以及负荷时间常数的倒数的负值；是利用维纳过程模拟的光伏、风机和负荷功率的随机项，其中ω^PV(t)，ω^W(t)，ω^L(t)表示维纳过程，K^PV，μ^PV，σ^PV，K^W，μ^W，σ^W，K，^Lμ，^Lσ^L为常数；