[发明专利]基于多智能体深度确定策略梯度算法的配电网优化方法

说明书

本发明公开了一种基于多智能体深度确定策略梯度算法的配电网优化方法，其特征在于：包括：综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素构建确定风储联合系统的收益最大化调度模型；采用Ward系统聚类法和改进FCM法构成的二次聚类法进行二次聚类，实现风储联合系统的储能电池根据荷电状态和充放电切换次数进行分组；基于多智能体深度强化学习算法将风电储能建模为多智能体系统并且基于风储联合系统的收益最大化调度模型训练并执行多智能体以实现对风储联合系统的配置。

技术领域

本发明涉及新能源技术领域，具体涉及一种基于多智能体深度确定策略梯度算法的配电网优化方法。

背景技术

风电作为新能源的代表，一方面因其清洁性等优点得到了广泛关注，但另一方面风电出力固有的间断和波动特征，也给电力系统运行和发电计划安排造成了很大困难。储能设备运行具有很大的灵活性，可实现在长时间尺度上的出力平移，因此，目前有很多研究将储能与风电组合成联合系统，以实现对风电出力波动的平抑，大大提高了风电的利用率。

目前，有利用抽水蓄能电站建立优化模型，缓解风电场功率的波动；有采用风电功率分解的思想，将功率分解为2个不同频率成分并使用混合储能进行出力补偿；有在考虑风电不确定性引起失负荷概率的基础上，以风储联合系统收益最大化建立调度模型，有效地降低失负荷风险；有以储能收益最大化为目标建立优化模型，采用混合整数规划进行求解，但没有考虑风电的不确定性。但传统的优化模型都属于数学优化方法。除此之外，通过引入强化学习理论的调度决策方法也已经取得了初步进展。强化学习具有强大的自我学习能力，能在与环境的不断反馈中优化动作策略，使得智能体选择的策略能够获得环境的奖励最大，进而使得外部环境对学习系统在某方面的评价为最优。将深度强化学习理论应用于综合能源的调度，可对环境中的不确定性因素做出动态响应，提高了系统运行的经济性。已有方法利用Rainbow算法建立控制器对储能系统的充放电进行优化控制，有效地减轻了风电场出力的间歇性、不稳定性等问题，并实现风电场收益的最大化。

另外，目前多数方法缺乏对储能充放电调度策略的合理性和有序性安排，且没有考虑由于储能状态越限而带来的惩罚，故在实现风储联合系统的长期收益最大化上稍显不足。储能电池的寿命受循环次数、充放电深度等因素的影响，无序运行会降低储能电池寿命，引起不必要的损耗，并且无序运行还会降低储能电池的可调控容量，若独立调节每一个储能电池组又过于复杂。

发明内容

1.所要解决的技术问题：

针对上述技术问题，本发明提供一种基于多智能体深度确定策略梯度算法的配电网优化配置，实现实现风储联合系统的收益的最大化，降低损耗以及调控的简单化。

2.技术方案：

一种基于多智能体深度确定策略梯度算法的配电网优化方法，其特征在于：包括：

综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素构建确定风储联合系统的收益最大化调度模型；采用Ward系统聚类法和改进FCM法构成的二次聚类法进行二次聚类，实现风储联合系统的储能电池根据荷电状态和充放电切换次数进行分组；基于多智能体深度强化学习算法将风电储能建模为多智能体系统并且基于风储联合系统的收益最大化调度模型训练并执行多智能体以实现对风储联合系统的配置。

进一步地，确定风储联合系统的收益最大化调度模型具体包括以下步骤：

S11：建立目标函数；以收益最大化为目标建立日前调度目标函数，综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素的使风储联合系统收益最大化，则目标函数表示为：

(1)式中：T为调度周期内时段个数，取24小时；λ_t为t时段的电价；P_sys，t为联合系统t时段出力；C_1，t为t时段出力偏差惩罚；C_2，t为t时段储能越限惩罚；

其中：