[发明专利]基于深度Q学习的微电网内多类型储能的调度方法及装置

说明书

本发明公开了一种基于深度Q学习的微电网内多类型储能的调度方法及装置，所述微电网包括电源、长周期储能设备和短周期储能设备，将微电网内多类型储能的调度问题描述为马尔可夫决策过程，构建并训练深度Q学习的神经网络模型，采用训练好的深度Q学习神经网络模型，输入微电网的当前状态，输出对应的动作，按照输出的动作进行调度。本发明通过智能体和微电网调度环境的不断交互来获得最优的储能调度策略，避免了模型不准确性带来的影响，适用于包含多种类型储能技术的微电网，能够为微电网的优化运行提供支撑，采用发明技术方案可以调整储能荷电量，合理安排用电时间和用电量，实现微电网运营收益最大化的目标。

技术领域

本申请属于能源自动化技术领域，尤其涉及一种基于深度Q学习的微电网内多类型储能的调度方法。

背景技术

能量作为源动力，推动着人类社会的不断发展。然而，传统化石能源的大量开采和使用，一方面使人类未来面临能源枯竭的危机，另一方面引发了当前环境日益恶化的问题。开发可再生能源已经成为国际社会应对上述两方面问题的重要举措。利用可再生能源进行分布式发电，并供给就近负荷消纳，组成微电网，是其中一种重要的方式。微电网不仅更灵活，也是解决可再生能源发电并网问题的一种重要技术手段，近年来得到了国内外的普遍关注。由于可再生能源发电的随机性和不确定性，往往需要在微电网中引入多种类型储能技术，以保障其稳定运行。比如，长周期储能技术(包含但不限于电解水制氢-储氢-氢氧燃料电池技术)用来平抑可再生能源发电的长周期波动性，如，风光发电的季节性波动；短周期储能技术(包含但不限于储能锂电池技术)用来平抑可再生能源发电的短周期波动性，如，光伏发电的昼夜波动。

储能系统作为微电网的重要组成部分，通过对多余电能的储存和释放，有效地保证了微电网的平稳运行。同时，借助于合理的调度策略，储能系统也是提高微电网运营经济效益的一个重要手段。

传统的随机优化算法是解决微电网储能调度问题的主要技术，该技术需要建立调度数学模型并引入大量的假设才能求解，且求解问题的范围有限。受系统动态性和可再生能源发电间歇性的影响，微电网储能调度数学模型及其参数存在一定的误差，这会给求解结果带来一些无法预期的影响。在微电网中包含多类型储能的情况下，调度数学模型更复杂，误差带来的问题更严重。

发明内容

本申请的目的是提供一种基于深度Q学习的微电网内多类型储能的调度方法及装置，以降低误差所带来的调度策略非最优的技术问题。

为了实现上述目的，本申请技术方案如下：

一种基于深度Q学习的微电网内多类型储能的调度方法，所述微电网包括电源、长周期储能设备和短周期储能设备，所述基于深度Q学习的微电网内多类型储能的调度方法，包括：

将微电网内多类型储能的调度问题描述为马尔可夫决策过程，所述马尔可夫决策过程中t时刻的状态s_t表示如下：

其中，表示电源发电量，表示微电网内部负荷消耗电量，表示短周期储能设备的荷电量，表示长周期储能设备的荷电量，分别表示电源寿命、短周期储能设备寿命、长周期储能设备寿命，P_t^(SS)表示短周期储能设备的充放电功率上限，短周期储能设备的充放电功率下限为-P_t^(SS)；

W_t^(LS)表示长周期储能设备的容量上限，表示电源发电效率、短周期储能设备充电效率、长周期储能设备充电效率；

表示短周期储能设备放电效率、长周期储能设备放电效率；

r_t^(SS)、r_t^(LS)表示短周期储能设备和长周期储能设备反复充放电的容量保有率；

μ_t表示与主网交易电价和需求侧响应信息；