[发明专利]基于深度强化学习的异构柔性负荷实时调控方法和装置

权利要求书

1.一种基于深度强化学习的异构柔性负荷实时调控方法，其特征在于，包括：

对电力系统不同类型的异构柔性负荷分别建立单一柔性负荷动态模型，得到单一柔性负荷的状态变量、动作变量、环境变量和回报函数；

根据所有单一柔性负荷的所述状态变量、动作状态变量、环境变量和回报函数，建立异构柔性负荷聚合模型，所述异构柔性负荷聚合模型包括聚合负荷的状态变量、状态空间、动作变量、动作空间和状态转移函数；其中，所述异构柔性负荷聚合模型为：

s(t+1)＝F_transition(s(t),a(t),w(t))

其中，s(t+1)为t+1时刻聚合负荷的状态变量，F_transition(s(t),a(t),w(t))为t时刻聚合负荷的状态转移函数，s(t)为t时刻聚合负荷的状态变量，a(t)为t时刻聚合负荷的动作变量，w(t)为t时刻的环境变量，R_agg(t)为聚合负荷在t时刻的回报函数，r_DR(t)为t时刻聚合负荷参与需求响应的总收益，λ(t)(P_agg(t)-P_base(t))Δt为电费支出减少量,f_i^unc为用户不适应度，T_i^L为用户的舒适度温度下限；T_i^U为用户的舒适温度上限，T_i^min为设备i的温度变化下限，T_i^max为设备i的温度变化上限，N为电采暖设备数，L为电热水设备数，T_i(t)为室内温度，为室内温度T_i(t)超出用户的舒适温度上限T_i^U的不适度惩罚因子，为室内温度T_i(t)低于用户的舒适温度下限T_i^L的不适度惩罚因子；

将所述聚合模型应用到电力系统实时调控环境下，得到聚合负荷参与实时响应的回报函数；

建立聚合负荷实时调控深度强化学习模型，根据所述聚合负荷的状态变量、动作变量、状态转移函数和参与实时响应的回报函数，对所述聚合负荷实时调控深度强化学习模型进行训练，得到柔性负荷聚合的实时优化调控决策模型；

将目标聚合负荷的状态变量输入柔性负荷聚合的实时优化调控决策模型，得到聚合负荷实时调控的最优策略。

2.根据权利要求1所述的基于深度强化学习的异构柔性负荷实时调控方法，其特征在于，所述单一柔性负荷动态模型包括负荷温控动态函数、用户不适度函数和回报函数。

3.根据权利要求1所述的基于深度强化学习的异构柔性负荷实时调控方法，其特征在于，所述聚合负荷实时调控深度强化学习模型采用深度Q值网络算法训练。

4.根据权利要求3所述的基于深度强化学习的异构柔性负荷实时调控方法，其特征在于，所述深度强化学习模型的损失函数为：

其中，y_j为Q网络函数的目标值，m为样本数，θ为Q网络函数的权重系数，s_j为第j个样本的状态变量，a_j为第j个样本的动作变量。