[发明专利]基于分布式深度强化学习的微网隐私保护与能量调度方法

权利要求书

1.一种基于分布式深度强化学习的微网隐私保护与能量调度方法，其特征在于，包括如下步骤：

步骤1)根据微电网系统构建微电网多智能体强化学习模型，同时根据主电网建立对应的智能体进行本地调度管理；

步骤2)建立微电网隐私保护与能量调度模型；

步骤3)微电网多智能体强化学习模型输出当前时刻的动作集合，当前时刻的动作集合包括各可控发电单元输出的当前时刻发电机功率变化值以及为发电功率数据加噪所需的隐私保护预算参数；根据微电网多智能体强化学习模型的当前时刻状态值集合计算出对应敏感度，各个敏感度再结合对应隐私保护预算参数通过差分隐私算法生成对应拉普拉斯噪声，将拉普拉斯噪声加到对应发电功率数据中后获得观测数据集；将观测数据集传输给主电网，主电网通过观测数据集获取节点差额电量，主电网智能体根据节点差额电量输出对应的动作，动作为主电网与微电网节点的交互电量，根据主电网与微电网节点的交互电量、发电机功率变化值更新出微电网多智能体强化学习模型的下一时刻状态值集合；

步骤4)根据微电网多智能体强化学习模型的动作集合以及当前时刻和下一时刻的状态值集合，利用微电网隐私保护与能量调度模型计算微电网多智能体强化学习模型的总奖励值，若此时对应的回合数达到预设数据采集回合，则开始从经验池中提取历史数据以更新强化学习模型；若未达到则不从经验池中提取历史数据更新强化学习模型，直接进行下一时刻；

步骤5)重复步骤3)-4)，直到当前回合结束，若回合结束则重置时刻、发电机发电功率、储能单元荷电状态、主电网交互功率数据，接着采集下一回合的负载需求、实时电价数据；

步骤6)继续重复步骤5)，在回合迭代中不断收集、读取历史数据，从而更新强化学习模型，最终不断输出调度策略，实现微电网能量调度及隐私保护最优化。

2.根据权利要求1所述的一种基于分布式深度强化学习的微网隐私保护与能量调度方法，其特征在于，所述微电网多智能体强化学习模型包括n个智能体，分别根据n个独立发电单元构建获得，n个智能体的经验池共享，微电网多智能体强化学习模型通过以下公式进行设置：

A(t)＝[a(1,t),a(2,t),...,a(n,t)]^T

S(t)＝[s(1,t),s(2,t),…,s(n,t)]^T

Ctr(t)＝[c(1,t),c(2,t),...,c(n,t)]^T

R(t)＝[r(1,t),r(2,t),...,r(n,t)]^T

a(i,t)＝[ΔPk(i,t),ε]^T

其中，A(t)表示时刻t各智能体输出的动作集合，S(t)表示时刻t各智能体的状态值集合，Ctr(t)表示时刻t各智能体的动作策略集合，表示从状态到具体动作的映射关系，R(t)表示时刻t各智能体的奖励值集合，即总奖励值，a(i,t)表示时刻t第i个智能体输出的动作，s(i,t)表示时刻t第i个智能体的本地状态值，c(i,t)表示时刻t第i个智能体的动作策略，r(i,t)表示时刻t第i个智能体的本地奖励值，Pk(i,t)表示时刻t第i个独立发电单元的发电功率，d(j,t)表示时刻t第j个负载的负载需求，SoC(t)表示时刻t储能单元的荷电状态，Pess(t)表示时刻t储能单元的充放电功率，T表示转置，ε为隐私保护预算，ΔPk(i,t)为时刻t第i个独立发电单元功率变化量，n表示独立发电单元数量，m表示负载数量。