[发明专利]基于深度强化学习的异构柔性负荷实时调控方法和装置

说明书

本申请公开了一种基于深度强化学习的异构柔性负荷实时调控方法和装置，首先，针对不同类型的异构柔性负荷，分别建立单一柔性负荷模型，然后针对不同参数异构的多个柔性负荷建立聚合负荷模型，从而得到异构柔性负荷参与需求响应时的马尔科夫决策过程，并通过深度强化学习的机器学习框架基于历史数据对聚合体的决策函数进行训练，得到异构柔性负荷聚合体的实时优化调控决策模型，从而得到聚合负荷实时调控的最优策略，提高了用户侧的柔性负荷响应能力。解决了现有的负荷调控方式用户侧柔性负荷的响应能力低，难以激发用户侧的需求响应潜力的技术问题。

技术领域

本申请涉及电力系统负荷调控技术领域，尤其涉及一种基于深度强化学习的异构柔性负荷实时调控方法和装置。

背景技术

随着大量不同的需求侧柔性负荷广泛接入并参与电网调控，柔性负荷异构特性逐渐凸显，异构性的处理成为实际调控应用的关键问题。异构负荷又被区分为类型和参数两种异构方式，通常不同种类的负荷构成类型异构，相同种类但固有参数不同的负荷构成参数异构，对异构柔性负荷的建模是柔性负荷调控的基础。

常规的负荷调控以既定物理参数对异构负荷建模，进而根据参数的相似性聚类划分成同构群或等效群进行目标优化和统一调度，但是难以避免多样性异构设备物理参数复杂的问题。例如针对温控型负荷，常规方法主要基于负荷的动态温度特性和周期性运行方式，建立温控型负荷的一阶热力学模型，但是由于负荷种类繁多、参数差异化严重、调控所依赖的感知和交互信息多元，导致用户侧柔性负荷的响应能力降低，难以激发用户侧的需求响应潜力。

发明内容

本申请提供了一种基于深度强化学习的异构柔性负荷实时调控方法和装置，用于解决现有的负荷调控方式用户侧柔性负荷的响应能力低，难以激发用户侧的需求响应潜力的技术问题。

有鉴于此，本申请第一方面提供了一种基于深度强化学习的异构柔性负荷实时调控方法，包括：

对电力系统不同类型的异构柔性负荷分别建立单一柔性负荷动态模型，得到单一柔性负荷的状态变量、动作变量、环境变量和回报函数；

根据所有单一柔性负荷的所述状态变量、动作状态变量、环境变量和回报函数，建立异构柔性负荷聚合模型，所述异构柔性负荷聚合模型包括聚合负荷的状态变量、状态空间、动作变量、动作空间和状态转移函数；

将所述聚合模型应用到电力系统实时调控环境下，得到聚合负荷参与实时响应的回报函数；

建立聚合负荷实时调控深度强化学习模型，根据所述聚合负荷的状态变量、动作变量、状态转移函数和参与实时响应的回报函数，对所述聚合负荷实时调控深度强化学习模型进行训练，得到柔性负荷聚合的实时优化调控决策模型；

将目标聚合负荷的状态变量输入柔性负荷聚合的实时优化调控决策模型，得到聚合负荷实时调控的最优策略。

可选地，所述单一柔性负荷动态模型包括负荷温控动态函数、用户不适度函数和回报函数。

可选地，所述异构柔性负荷聚合模型为：

s(t+1)＝F_transition(s(t),a(t),w(t))

其中，s(t+1)为t+1时刻聚合负荷的状态变量，s(t)为t时刻聚合负荷的状态变量，a(t)为t时刻聚合负荷的动作变量，w(t)为t时刻的环境变量，R_agg(t)为聚合负荷在t时刻的回报函数，r_DR(t)为t时刻聚合负荷参与需求响应的总收益，为总用户不适度，λ(t)(P_agg(t)-P_base(t))Δt为电费支出减少量。

可选地，所述聚合负荷实时调控深度强化学习模型采用深度Q值网络算法训练。

可选地，所述深度强化学习模型的损失函数为：