[发明专利]一种基于深度强化学习的逆变器控制器

说明书

本发明公开了一种基于深度强化学习的逆变器控制器，所述逆变器控制器包括dq变换模块、输出有功无功和端电压有效值计算模块、调制波信号幅值计算模块、模拟转子运动方程模块、深度强化学习控制模块、dq反变换和PWM调制模块，所述逆变器控制器模拟了同步发电机转子运动方程，并通过深度强化学习控制模块调整虚拟转动惯量，以获得较好的电力系统低频振荡抑制效果。

技术领域

本发明涉及电力电子逆变器技术领域，具体涉及一种基于深度强化学习的逆变器控制器。

背景技术

鉴于能源、环保的压力，越来越多的可再生能源通过电力电子发电设备接入电网。作为一种能够将直流电转换为交流电的电能转换设备，逆变器在风电，储能，光伏等领域得到了广泛应用。最早的逆变器控制策略采用了双层的控制结构，即内层为电流环，外层为功率环或者电压环。但这种控制策略的响应速度快，不利于电力系统的频率稳定，也不能根据系统的电压和频率情况自适应调整逆变器的输出功率。随后出现了逆变器的下垂控制策略。这种控制策略虽然能够根据系统的频率和电压自动调整自身的输出有功和无功功率，有利于系统的频率和电压控制，但依然存在响应速度快的缺点。考虑到同步发电机转子的转动惯量在电力系统频率稳定中所起的有益作用，有人提出了虚拟同步发电机(VirtualSynchronous Generator,VSG)控制技术，其核心思想是在逆变器的控制策略中模拟同步发电机的转子运动方程。但这种技术在降低响应速度、增加电力系统惯性的同时，也继承了同步发电机转子易发生低频振荡的特性。针对此问题，有人从转动惯量J和阻尼系数D的上入手，提出了一系列的控制策略。有人建立了包含VSG的单逆变器并网的小信号模型，利用根轨迹的手段，选取适当的转动惯量J和阻尼系数D，在保证稳定的同时也具有较好地动态特性。但这种线性化手段下设计出的控制器难以适应逆变器所处的复杂的运行工况，一旦运行工况有别于初始的设计条件，就有可能发生失稳或者动态特性变差的风险。也有人从自适应控制的角度提出了一系列的控制措施，如根据VSG虚拟角频率的变化率dω/dt来调整J的VSG控制算法，或者根据输出功率P及其变化率dP/dt的情况来调整J和D的参数。但这种自适应地控制策略，也同样存在控制器参数选择的问题。在实践中，这些控制器参数往往是通过仿真试凑的方法进行选取，难以覆盖逆变器所有可能的运行状态，同样不能保证所设计的控制器能够在复杂的运行环境下保持稳定。

近年来，人工智能相关技术在电力系统中的应用日渐广泛。在电力设备控制领域，强化学习技术(Reinforcement Learning,RL)受到关注。RL即可看作是人工智能领域中一种重要的机器学习方法，也可以被认为是属于马尔可夫决策过程(Markov DecisionProcess，MDP)和动态优化方法的一个独立分支。在强化学习方法中，强化学习控制模块往往被视作一个智能体，它无需任何有关所处环境的先验知识，通过探索自身控制器的动作及其所获得的奖励，不断更新迭代，逐渐获得优化的从状态到行为的映射策略。即强化学习主要通过智能体与环境不断交互的动作、状态和奖励进行行为决策。目前，基于RL算法设计的电力设备控制器包括直流附加阻尼控制器、动态正交增压器、静止无功补偿器(StaticVar Compensator，SVC)、电力系统稳定器(Power System Stabilizer，PSS)等。研究表明，RL算法设计的控制器能够有效兼顾稳定性与动态性能混合目标的优化控制，表现出了良好的环境适应性，更适合于电力系统这种存在多重不确定性因素及大扰动的系统。尤其是，结合深度学习的感知与强化学习的决策能力的深度强化学习(Deep ReinforcementLearning，DRL)，对于强化学习算法的运算速度与收敛有很大地提升。如果把逆变器的控制器中也引入深度强化学习模块，对系统扰动激发的不同J的逆变器振荡状态进行评价，进行学习与训练，就可以自适应地调整自身控制器的参数，获得更好的振荡抑制效果的同时，实现自身的逆变功能。因此，随着可再生能源渗透率的进一步提高，电力系统中存在大比例的、多种控制策略并存的、运行工况复杂的电力电子设备时，如何借鉴RL算法实现逆变器的控制，成为一个亟待解决的技术问题。

发明内容