[发明专利]基于多智能体强化学习的配电网多区域协同无功优化方法

权利要求书

1.基于多智能体强化学习的配电网多区域协同无功优化方法，其特征在于，包括：

利用聚类算法进行配电网分区，将各子区作为一个智能体，构建无功电压优化模型；

将配电网多区域协同控制的无功优化模型建模为多智能体的马尔科夫博弈模型；

利用multi-agent soft actor-critic算法对各智能体构建独特的策略和价值网络；

采用集中式训练、分散式执行的框架对各智能体进行训练；

利用配电网历史数据进行离线训练，寻求动态系统不确定性的最佳解法，并将其部署至地方在线执行。

2.如权利要求1所述的基于多智能体强化学习的配电网多区域协同无功优化方法，其特征在于：所述利用聚类算法进行配电网分区，包括：

根据配电网的拓扑关系和光伏的位置确定中枢点，然后求解线路导纳矩阵；

确定配电网各节点对象与中枢点的电气距离；

通过获取的电气距离求得聚类算法的k个初始簇中心；

通过判断每个节点对象与k个簇中心的距离，将节点对象进行聚类。

3.如权利要求1或2所述的基于多智能体强化学习的配电网多区域协同无功优化方法，其特征在于：所述构建无功电压优化模型，包括：

基于每个智能体的设备调节变量构建无功化优化模型，将整个系统的网络损耗作为无功优化模型的目标函数。

4.如权利要求3所述的基于多智能体强化学习的配电网多区域协同无功优化方法，其特征在于：所述构建无功电压优化模型，还包括：

基于设备调节变量所构建的数学模型为：

其中，N_SVC表示安装SVC设备的节点，N_PV表示安装PV的节点，Q_SVC和Q_PV表示当前SVC设备和PV的无功输出，S_i代表第i台PV的装机容量，P_PV代表其有功输出。

5.如权利要求4所述的基于多智能体强化学习的配电网多区域协同无功优化方法，其特征在于：还包括：在无功优化的过程中还要满足如下的等式和不等式约束：

V_min≤V_i≤V_max i∈N

其中，N为配电网的节点总数，G_ij和B_ij分别表示节点导纳的实部和虚部，V_i和V_j为节点电压幅值，δ_i和δ_j表示节点电压的相角差，V_min和V_max分别为节点电压的上下限。

6.如权利要求4或5所述的基于多智能体强化学习的配电网多区域协同无功优化方法，其特征在于：所述构建多智能体的马尔科夫博弈模型，包括：设计马尔科夫博弈中智能体的状态空间、动作空间和奖励函数；

马尔科夫博弈中智能体的状态空间表示为：S＝(P,Q,V)，其中，P和Q是节点的有功无功净注入量P_i和的集合,V是i节点的电压幅值的集合；

马尔科夫博弈中智能体的动作空间A是每个SVC设备和智能逆变器的无功功率输出的集合；a在t时可以表示为：a_t＝[Q_SVC,1,…,Q_SVC,N,Q_PV,1,…,Q_PV,_M]，其中，N和M分别表示SVC和逆变器的数量；

马尔科夫博弈中智能体的奖励函数表示为：其中，P_loss(t)是有功网损，η是惩罚因子，当电压不满足约束[0.95≤V≤1.05]时η为0。