[发明专利]基于分支双重深度Q网络的配网实时动态重构方法及系统

权利要求书

1.基于分支双重深度Q网络的配网实时动态重构方法，其特征是，包括如下过程：

获取配电网实时节点负荷和分布式电源出力；

将获取的数据传输至基于马尔可夫决策过程MDP构建的动态DNR模型；所述动态DNR模型以最小化网损成本和开关动作成本为目标函数；

基于配电网环路分解改进得到分支双重深度Q网络，采用Q学习算法对动态DNR模型进行求解，获得使得分支双重深度Q网络输出回报最大的开关动作集合，根据开关动作集合更新配电网的拓扑结构。

2.如权利要求1所述的基于分支双重深度Q网络的配网实时动态重构方法，其特征是：基于马尔可夫决策过程构建动态DNR模型，具体为：将节点负荷和分布式电源出力整合为节点注入功率，将节点注入功率和断开的开关的集合作为马尔可夫决策过程的状态集合。

3.如权利要求1所述的基于分支双重深度Q网络的配网实时动态重构方法，其特征是：基于马尔可夫决策过程构建动态DNR模型，具体为：设置配电网运行成本的倒数为马尔可夫决策过程的即时回报，所述即时回报还包括惩罚项，所述惩罚项用于惩罚不符合系统安全约束的开关动作策略。

4.如权利要求1所述的基于分支双重深度Q网络的配网实时动态重构方法，其特征是：基于配电网环路分解，得到的分支双重深度Q网络的结构为：以配电网中的环路数作为Q学习算法网络的输出维度，每一维度输出向量的维度为所属环路的开关数量。

5.如权利要求4所述的基于分支双重深度Q网络的配网实时动态重构方法，其特征是：采用贪婪选择策略选择Q学习算法网络的输出维度中回报最大的开关，作为决策动作开关。

6.如权利要求4所述的基于分支双重深度Q网络的配网实时动态重构方法，其特征是：还包括对分支双重深度Q网络训练的步骤，包括如下：

获取配电网的历史运行数据，以及配电网的网络结构参数，构建训练集；

初始化分支双重深度Q网络的结构和参数，生成初始经验池，开始算法迭代；

初始化状态向量，从经验池中采集样本并输入至分支双重深度Q网络；

根据采集样本中开关动作集合，计算分支双重深度Q网络的输出以及损失函数，并更新经验池；

利用梯度下降法优化分支双重深度Q网络的参数，进行下一轮迭代，直到遍历训练集的数据。

7.如权利要求6所述的基于分支双重深度Q网络的配网实时动态重构方法，其特征是：初始经验池的数据采用配电网的历史数据集代替。

8.如权利要求6所述的基于分支双重深度Q网络的配网实时动态重构方法，其特征是：更新经验池的方法，遍历到t时刻，步骤如下：

在分支双重深度Q网络中使用当前时刻的状态S_t^DR作为输入，采用ε贪婪选择法选择对应的开关动作A_t^DR；

在当前状态S_t^DR执行动作对应A_t^DR后，进行潮流计算，并计算得出即时回报R_t^DR，并从配电网的节点负荷和DG出力数据集中索引得出下一时刻的状态

将获得的这5个元组存入经验池，判断经验池容量是否已达上限，若是，按照经验池数据存储的时间删除最早的数据。

9.基于分支双重深度Q网络的配网实时动态重构系统，其特征是，包括：

获取模块：被配置为用于获取配电网实时节点负荷和分布式电源出力；

马尔可夫决策构建模块：被配置为用于将获取的数据传输至基于马尔可夫决策过程MDP构建动态DNR模型；动态DNR模型以最小化网损成本和开关动作成本为目标函数；

配电网动态重构模块：被配置为用于基于配电网环路分解得到分支双重深度Q网络，采用Q学习算法对动态DNR模型进行求解，获得使得分支双重深度Q网络输出回报最大的开关动作集合，根据开关动作集合更新配电网的拓扑结构。

10.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-8任一项方法所述的步骤。