[发明专利]基于强化学习的微电网电能分配方法

说明书

技术领域

本发明涉及微电网，尤其是涉及一种基于强化学习的微电网电能分配方法。

背景技术

微电网的提出是用于整合可再生能源、降低电网成本及提供更好电网质量。微电网包括有源负载、可再生能源发电机及电能存储设备，且可以通过变电站与主电网相连。

如果微电网中的本地产能和储能无法满足需求时，可以和主电网进行交易，购买电能；反之，当微电网中有多余的电能时，也可以卖给主电网[S.M.Amin and B.F.Wollenberg,“Toward a smart grid:Power delivery for the 21st century,”IEEE Power Energy Mag.,vol.3,no.5,pp.34–41,Sep./Oct.2005.]。[Z.Wang,B.Chen,J.Wang,et al.,“Coordinated energy management of networked microgrids in distribution systems,”IEEE Trans.on Smart Grid,6(1):45-53,2015.]阐述了一种基于分层结构的主电网和微电网之间的互动交易。[W.Saad,Z.Han,H.V.Poor,and T.Basar,“Game-theoretic methods for the smart grid:An overview of microgrid systems,demand-side management,and smart grid communications,”IEEE Signal Process.Mag.,vol.29,no.5,pp.86–105,Sep.2012.]指出主电网与微电网通过变电站进行交易过程中，由于两者距离较远，消耗、转换以及运输成本高，而地理位置临近的微电网之间的交易可以平衡电能的供需要求，并减少微电网对主电网的依赖，从而降低电网成本。[W.Saad,Z.Han,and H.V.Poor,“Coalitional game theory for cooperative microgrid distribution networks,”in Proc.IEEE Int.Conf.Commun.Workshop(ICC),Kyoto,Japan,Jun.2011,pp.1–5.]将博弈论应用于微电网之间的交易，通过合作减少损失从而达到全局成本最小化。[Pipattanasomporn M,Feroze H,Rahman S.Multi-agent systems in a distributed smart grid:Design and implementation[C]//Power Systems Conference and Exposition,2009.PSCE'09.IEEE/PES.IEEE,2009:1-8.]用拍卖算法模拟微电网的交易，即微电网之间通过多次的相互协商，找到双方都可接受的交易价格。[L.Xiao,N.B.Mandayam,and H.V.Poor,"Prospect Theoretic Analysis of Energy Exchange Among Microgrids,"IEEE Trans.Smart Grids,vol.6,no.1,pp.63-72,Jan.2015.]将前景理论用于微电网的能量交换，每个微电网应该考虑自己的利益，即每个交易者都是主观的，在电能低时不会冒险卖出或在电价高时不会买入。

在电能交易中，存在一些变量，包括可再生能源的产量、本地需求量等。[M.Fathi and H.Bevrani,“Adaptive energy consumption scheduling for connected microgrids under demand uncertainty,”IEEE Trans.on Power Delivery,28(3):1576-1583,2013.]提出采用自适应的能量消费计划解决不确定的能量需求，用在线随机迭代方式来模拟需求的随机性。由于可再生能源(风能)的产能与天气有关，产能不会发生骤变，即相邻时隙的产能有一定的关系，[Kuznetsova E,Li Y F,Ruiz C,et al.Reinforcement learning for microgrid energy management[J].Energy,2013,59:133-146.]将可再生能源(风能)的产量模拟为马尔可夫过程。

发明内容