[发明专利]基于强化学习算法的双馈感应风力发电机自校正控制方法

摘要

本发明公开了基于强化学习算法的双馈感应风力发电机自校正控制方法；该方法在基于PI控制的矢量控制系统中的PI控制器上增加RL控制器，动态校正PI控制器的输出，RL控制器包括RL‐P控制器和RL‐Q控制器，RL‐P控制器和RL‐Q控制器分别对有功和无功功率控制信号校正。该方法引入Q学习算法作为强化学习核心算法，强化学习控制算法对被控对象的数学模型和运行状态不敏感，其学习能力对参数变化或外部干扰具有较强的自适应性和鲁棒性，可快速自动地在线优化PI控制器的输出；本发明具有良好的动态性能，显著增强了控制系统的鲁棒性和适应性。

主权项

基于强化学习算法的双馈感应风力发电机自校正控制方法，其特征在于，在基于PI控制的矢量控制系统中的PI控制器上增加RL控制器，动态校正PI控制器的输出，RL控制器包括RL‑P控制器和RL‑Q控制器，RL‑P控制器和RL‑Q控制器分别对有功和无功功率控制信号校正；该自校正控制方法包括如下步骤：S1：RL‑P控制器和RL‑Q控制器分别采样有功功率误差值ΔP和无功功率误差值ΔQ；RL‑P控制器和RL‑Q控制器分别判断功率误差值ΔP和ΔQ所属区间sk；S2：对于所识别的区间sk，RL‑P控制器或RL‑Q控制器根据该sk所对应的动作概率分布用随机函数输出动作αk，得RL‑P控制器或RL‑Q控制器输出的校正信号；对于动作α相应的被选择的概率的集合构成概率分布，每个区间s有其对应的概率分布Ps(a)；对于RL‑P控制器，动作值αk与PI控制器的输出信号用加法器相加得到定子q轴电流的给定值iqs*，即有功功率的控制信号；对于RL‑Q控制器，动作值αk与PI控制器的输出信号用加法器相加得到定子d轴电流的给定值ids*，即无功功率的控制信号；S3：RL‑P控制器和RL‑Q控制器分别采样有功功率误差值ΔP和无功功率误差值ΔQ并判断其所属区间sk+1；S4：RL控制器由奖励函数获得立即奖励值rk；奖励函数设计为：式中值是动作集A的指针，该指针为第k次动作值α在动作集A中的序号，μ1和μ2为平衡前后各平方项的权重值，其数值均为通过大量仿真实验调试所得；S5：基于Q值迭代公式更新Q矩阵；Q函数为一种期望折扣奖励值，Q学习的目的是估计最优控制策略的Q值，设Qk为最优值函数Q*的第k次迭代值，Q值迭代公式设计为：Qk+1(sk,ak)=Qk(sk,ak)+α[rk+γmaxa′∈AQk(sk+1,a′)-Qk(sk,ak)]]]>式中α、γ为折扣因子，其数值均为通过大量仿真实验调试所得；S6：根据动作选择策略更新公式更新动作概率分布；利用一种追踪算法设计动作选择策略，策略基于概率分布，初始化时，赋予各状态下每个可行动作相等的被选概率，随着迭代的进行，概率随Q值表格的变化而变化；RL控制器找出状态sk下具有最高Q值的动作ag，ag称为贪婪动作；动作概率分布的迭代公式为：Pskk+1(ag)=Pskk(ag)+β(1-Pskk(ag))Pskk+1(a)=Pskk(a)(1-β)∀a∈A,a≠agPsk~k+1(a)=Psk~k(a)∀a∈A,∀sk~∈S,sk~≠sk]]>和分别为第k次迭代时sk状态和非sk状态下选择动作a的概率；β为动作搜索速度，其数值通过大量仿真实验调试所得；S7：令k＝k+1，并返回步骤S2；根据动作概率分布选择并输出动作αk+1，被选择的动作与PI控制器的输出信号相叠加产生相应的定子电流给定值信号，即功率控制信号，并按顺序依次执行接下来的步骤不断循环，在经过多次的迭代后，每个状态s存在Qsk以概率1收敛于Qs*，即获得一个以Qs*表示的最优控制策略以及该最优控制策略所对应的贪婪动作ag，至此完成自校正过程，此时每个状态s下RL控制器输出值ag与PI控制器的输出信号叠加，即可自动优化PI控制器的控制性能，使功率误差值小。