[发明专利]基于群智能强化学习的电网最优碳能复合流获取方法

说明书

本发明公开了一种基于群智能强化学习的电网最优碳能复合流获取方法，步骤为：S1、建立多目标最优碳能复合流模型目标函数；S2、根据目标函数设置奖励函数；S3、根据资格迹来更新每个主体的Q_i值矩阵；S4、计算每个主体的贪婪动作；S5、更新每个主体的动作概率矩阵；S6、随机选择每个主体当前状态下的预判动作；S7、协同输入多个主体，求解群体最优动作；S8、更新得到修正后的动作值；S9、确定控制变量矩阵，进行潮流计算；S10、潮流计算后，判断Q值矩阵是否收敛，若是，将最后一次潮流计算得到结果作为电网最优碳能复合流；否则回S2。本发明方法使电网中的能量流和碳排放流损耗量达到最小，在保证较好全局寻优能力的同时，明显提高算法的收敛速度。

技术领域

本发明涉及电网无功优化技术领域，特别涉及一种基于群智能强化学习的电网最优碳能复合流获取方法。

背景技术

随着温室效应给环境带来的影响日益严重，低碳经济逐渐成为各能耗工业的重点发展方向。其中，电力工业作为最大的CO2排放企业，将在低碳经济发展中担任重要的角色。现有很多关于低碳电力的相关研究，包括最优潮流、经济调度、机组组合、碳储存和碳捕捉等问题。然而，这些研究主要是对发电侧的碳排放进行优化，而缺少对如何降低电力网络的碳排放量进行相关研究。

为此，通过建立电网碳排放流的计算模型，有学者提出了一种多步回溯Q(λ)学习算法，解决了电网侧的最优碳流问题。期刊《电力系统自动化》第38卷第17期中公开了《基于多步回溯Q(λ)学习的电网多目标最优碳流算法》的文章，该文章中所用的最优碳流模型并不能清晰地解释电力网络中能量流和碳排放流的分布情况。虽然与其它经典优化算法和人工智能优化算法相比较，Q(λ)算法收敛鲁棒性更强，但是该算法只依靠单个主体进行寻优，收敛时间较长，难以满足复杂电网碳流在线滚动优化的实时要求。

群智能(Swarm Intelligence，SI)是人工智能的一个分支学科，受社会昆虫、动物集体行为的启发，已经衍生出蚁群、粒子群、蜂群等智能算法，在电力系统领域得到了很好的应用。在群智能算法中，每个群体都会有多个主体，各个主体之间会进行信息交流或任务分工，从而实现协同优化，有效缩短了寻优时间。很自然地，有学者会联想到把强化学习与粒子群、蚁群算法进行结合，也陆续出现了一般改进性的群智能算法，但这些方法都仅仅停留把群体优化与强化学习在算法流程上进行简单串行结合，两类不同性质的算法优势并未实现真正融合发挥。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种快速、有效的基于群智能强化学习的电网最优碳能复合流获取方法。该方法能够在满足系统运行和安全约束的前提下，通过对电网的无功进行优化，使得电网中的能量流和碳排放流损耗量达到最小，并且能在保证较好全局寻优能力的同时，明显提高算法的收敛速度。

本发明的目的通过下述技术方案实现：一种基于群智能强化学习的电网最优碳能复合流获取方法，步骤如下：

S1、根据电网负荷节点系统构建群智能强化学习系统，然后建立群智能强化学习系统的多目标最优碳能复合流模型目标函数；

S2、在群智能强化学习系统群体的主体更新迭代过程中，根据步骤S1中建立的多目标最优碳能复合流模型目标函数，设置奖励函数；

S3、按照负荷消耗的能量的差别，把负荷离散化划分成不同的断面，根据断面负荷消耗的能量值确定每个主体i的状态s_i，然后根据多步回溯Q(λ)学习的资格迹来更新每个主体i的Q_i值矩阵；

S4、计算每个主体i的贪婪动作a_i^g；

S5、根据步骤S3每个主体i更新后的Q_i值矩阵，再更新每个主体i的动作概率矩阵P_i；