[发明专利]一种基于强化学习和多智能体理论的微电网混合协调控制方法

说明书

本发明公开了一种基于强化学习和多智能体理论的微电网混合协调控制方法，包括如下步骤：设计基于电压分层方式的过渡电压层控制策略，设计双储能分角色控制策略，当储能单元工作于稳压模式时，两储能分离工作；当需要储能辅助持续吸收功率或补充功率时，两储能工作方式转换为协同充/放电；构建基于Q‑Learning的动作空间与状态空间：设计基于多智能体的强化学习控制框架：包括设计状态—动作对的基本更新规则以及选择相应的价值函数；设计基本动作选择机制与回报值策略：包括设计系统在初始状态下所采取的选择策略以及在各个状态下的回报值；设计强化学习算法流程：基于以上策略设计合适算法流程以实现控制策略。

技术领域

本发明涉及智能电网控制领域，尤其涉及一种基于强化学习和多智能体理论的微电网混合协调控制方法。

背景技术

随着经济的快速发展，我国能源消耗逐年递增，其中化石能源等非可再生能源的消耗总量增长迅速。我国的电力供应仍主要来源于火力发电，但随着化石能源等非可再生能源的过渡开采以及传统发电过程中对环境带来的负面影响日益严重，我国乃至全世界对风、光、水等可再生能源发电的研究逐步提上了日程。对绿色清洁能源的开发利用不仅能为环境保护作出一定的贡献，更加重要的是能够为经济发展提供新的能源供给形式。因此，对清洁能源的开发利用成为我国能源发展的重点任务以来，来我国的风力发电和光伏发电以较为迅猛的速度发展起来。

近年来，与传统的大型集中式发配电模式相比，基于分布式发电技术的微电网得益于其建设周期短、投资少、安装地点灵活、供电可靠、易于维护、能源利用率高及环境污染小等突出的优势得到了国内外的广泛关注与应用。微电网是将分布式电源、负荷、储能装置及控制装置等结合，形成一个单一可控的单元，同时向用户供给电能和热能。微电网中融合了先进的信息技术、控制技术和电力技术，可在提供稳定的电力供应，满足多样化负载需求的同时，还能保证实现能源效益、经济效益和环境效益的最大化。与此同时，微电网还可以在必要的时刻向常规电网中提供电力支撑。微电网将是未来电网建设过程中不可或缺的重要组成部分。在我国，大力推广分布式发电技术，是走可持续发展道路的具体体现，是对我国调整能源结构、解决边远地区用电问题、保护环境的有力支撑。

随着分布式发电技术的快速发展，其亟待解决的问题逐渐显现出来。接入大电网后的微电网很容易满足负荷需求，但是当微电网处于孤岛运行时，为了保证系统在多个接入情况下的安全稳定运行，需要一种有效的控制机制。首先分布式发电的能源供应主要依靠风、光等可再生能源，但其固有的间歇性、不可控性等依赖自然因素的特性将会对电网的能源供应造成一定的不稳定性。因此为保证负载的稳定运行，必须对分布式能源进行合理有效的控制，使其能够根据实时自然条件与负荷需求运行在不同的模式下。而且，若系统频繁地在不同的运行模式间切换也势必会增加控制难度，降低其运行稳定性，如何在保证系统稳定运行的情况下减少其模式转换次数同样是一个值得考虑的问题。除了上述的不同运行模式转换问题外，电压、功率等重要电力指标的控制问题也不容忽视。