[发明专利]基于深度强化学习的多园区能源调度方法和系统

说明书

基于深度强化学习的多园区能源调度方法，包括：S1：构建分布式园区综合能源系统模型；S2：用基于多智能体的深度强化学习算法解决综合能源系统的动态调度问题，搭建分布式园区综合能源系统的多智能体深度强化学习框架；S3：以实时奖励函数代替目标函数，利用各园区内的智能体与环境互动，寻找分布式园区综合能源系统最优调度策略；S4：将测试集数据用于训练后的智能体进行调度决策，并将其获得的目标成本与经由线性化处理后的综合能源系统模型通过求解器获得的目标成本进行比较，证明算法的有效性。本发明还包括基于深度强化学习的多园区能源调度系统。本发明在促进各园区内的光伏消纳的同时，提高了综合能源系统经济运行的有效性。

技术领域

本发明涉及一种基于多智能体深度强化学习的多能源协调互补优化调度办法。

背景技术

随着环境压力的增加和可再生能源技术的发展，以化石能源为主的传统电力系统正逐渐被化石能源与可再生能源协调使用的综合能源系统(Integrated EnergySystem,IES)所替代。而综合能源系统内的多种类能源在提升系统灵活性、供能多样性的同时，也为系统提高整体的能源利用率，实现经济运行带来困难。因此研究综合能源系统内的多能协调优化调度策略对于促进可再生能源消纳，提高系统经济性具有重要意义。

对综合能源系统的研究主要集中在日前的调度，依赖于对可再生能源出力、负荷需求等数据的预测，受限于固定的调度计划，不能动态地对源和荷的随机变化做出响应。为解决上述问题，近年来随着人工智能技术的发展，强化学习(reinforcementlearning，RL)算法受到越来越多的青睐。已有研究将强化学习用于电力能源系统的经济调度和能量管理中，但是传统的强化学习算法，在面对综合能源系统的复杂环境时，无法合理从环境中读取状态变量，易发生维数灾难，难以在综合能源场景下实际应用与推广。所以同时具备环境感知能力和决策能力的深度强化学习(deepreinforcementlearning，DRL)算法，慢慢走入研究者们的视线。

由于传统优化调度方法主要集中在综合能源系统的日前调度，依赖于对日前可再生能源出力、负荷需求等数据的预测，受限于固定的调度计划，不能动态地对源和荷的随机变化做出响应。随着以光电为代表的具有强不确定性的可再生能源接入综合能源系统，传统优化调度方法逐渐不能满足综合能源系统的需求。但目前深度强化学习在综合能源系统方面的研究，大多为集中式决策。这种结构的综合能源系统需要控制中心预先建立精确的网络架构，并实时采集综合能源系统内各设备运行工况，这对于结构复杂多变的综合能源系统来说难以实现。且单个主体统一运营的情况，与当前综合能源系统内含多个子能源系统运营相对独立的现状不相符，尤其是在当前市场机制下存在信息隐私的问题。

发明内容

为了克服现有技术的不足，本发明为实现含多个能源子系统的综合能源系统优化调度提出一种基于多智能体深度强化学习的多能源协调互补优化调度办法。通过一种以最优经济运行为目标的分布式园区综合能源系统优化调度架构，并对各园区之间的能源交互进行设计。在促进各园区内的光伏消纳的同时，提高了综合能源系统经济运行的有效性。

为了实现上述目的，本发明的技术方案为：

基于深度强化学习的多园区能源调度方法，包括以下步骤：

S1：构建分布式园区综合能源系统模型，提出一种以最优经济运行为目标的分布式园区综合能源系统优化调度架构，并对各园区之间的能源交互进行设计，分为多园区共享层和单园区消纳层；

S2：在所提架构的基础上，用基于多智能体的深度强化学习算法解决综合能源系统的动态调度问题，搭建分布式园区综合能源系统的多智能体深度强化学习框架；

S3：以实时奖励函数代替目标函数，利用各园区内的智能体与环境互动，寻找综合能源系统最优调度策略，避免传统能源调度方式中无法实时响应源和荷随机变动的问题；