[发明专利]基于深度Q学习的微电网内多类型储能的调度方法及装置

权利要求书

1.一种基于深度Q学习的微电网内多类型储能的调度方法，所述微电网包括电源、长周期储能设备和短周期储能设备，其特征在于，所述基于深度Q学习的微电网内多类型储能的调度方法，包括：

将微电网内多类型储能的调度问题描述为马尔可夫决策过程，所述马尔可夫决策过程中t时刻的状态s_t表示如下：

其中，表示电源发电量，表示微电网内部负荷消耗电量，表示短周期储能设备的荷电量，表示长周期储能设备的荷电量，分别表示电源寿命、短周期储能设备寿命、长周期储能设备寿命，P_t^(SS)表示短周期储能设备的充放电功率上限，短周期储能设备的充放电功率下限为-P_t^(SS)；

W_t^(LS)表示长周期储能设备的容量上限，表示电源发电效率、短周期储能设备充电效率、长周期储能设备充电效率；

表示短周期储能设备放电效率、长周期储能设备放电效率；

r_t^(SS)、r_t^(LS)表示短周期储能设备和长周期储能设备反复充放电的容量保有率；

μ_t表示与主网交易电价和需求侧响应信息；

所述马尔可夫决策过程中动作表示如下：

其中，分别为短周期储能和长周期储能与微电网交流母线交换的电量；

所述马尔可夫决策过程中，t时刻的即时奖励函数表示如下：

其中，δ_t是平衡功率，β是微电网向主电网售电时的电价，k是微电网从主电网买电时的电价，Δt表示信号采集的时间间隔，penalty是微电网切除一般负荷时付出的代价；

构建并训练深度Q学习的神经网络模型，根据输入的微电网的当前状态，输出对应的动作，采用训练好的深度Q学习神经网络模型，输入微电网的当前状态，输出对应的动作，按照输出的动作进行调度。

2.根据权利要求1所述的基于深度Q学习的微电网内多类型储能的调度方法，其特征在于，所述马尔可夫决策过程中动作的约束如下：

放电约束：

充电约束：

3.根据权利要求1所述的基于深度Q学习的微电网内多类型储能的调度方法，其特征在于，所述平衡功率δ_t计算公式如下：

4.根据权利要求1所述的基于深度Q学习的微电网内多类型储能的调度方法，其特征在于，在所述电源包括多个电源设备时，所述状态还包括各个电源对应的电源发电量、电源寿命、电源发电效率。

5.根据权利要求1所述的基于深度Q学习的微电网内多类型储能的调度方法，其特征在于，在所述长周期储能设备和短周期储能设备分别包括多个储能设备时，所述状态还包括各个储能设备对应的荷电量、储能设备寿命、充放电功率上限、容量上限、充电效率、放电效率和反复充放电的容量保有率。