[发明专利]一种基于并行优势动作评价的强化学习自适应PID控制方法

说明书

本发明公开了基于并行优势动作评价的强化学习自适应PID控制方法，包括设置采样周期，A2C算法的线程个数n，初始化网络参数；根据当前状态误差，利用状态转换器构造第i个智能体的输入状态向量；利用RBF网络同时实现第i个智能体策略函数和值函数的学习，参数值修正后计算系统输出，并观测下一采样时间系统误差e_i(t+1)，计算奖励函数r_i(t)；判断是否更新参数，数据总量达到batch size，停止采样，输出状态估计值并更新权值，将n个智能体上传的梯度汇总并求平均，更新Global Net参数，Global Net传递给Actor(i)和Critic(i)新的权值；迭代重复，输出算法的最优解。通过本发明提供的方法，可以有效的克服大超调，非线性和滞后性对PID控制器带来的影响。

技术领域

本发明强化学习，PID控制器参数调优的技术领域，尤其涉及一种基于并行优势动作评价的强化学习自适应PID控制方法。

背景技术

在现代工业控制系统研究中，对控制性能指标进行优化是研究控制算法的首要任务之一。常见的工业控制系统一般具有非线性、含时滞、多变量等复杂特性，研究人员提出了模糊PID控制、分数阶PID控制、自抗扰控制等算法，提升控制算法的性能。工程实践中，此类控制算法和控制器的参数整定及优化过程需要工程师大量的实践经验，或通过观察被控对象的响应逐步调整，或通过辨识模型推理计算。参数优化过程繁琐耗时、常有重复性工作。

随着人工智能技术的发展，深度学习、强化学习等人工智能理论及技术被广泛应用于语音识别、智能推荐、机器人控制等领域。由于控制理论的“反馈”概念与强化学习的“奖励”概念的相似性，为了增强控制算法性能、减少人工成本，许多学者也尝试在控制理论与控制工程领域引入强化学习。但目前这类研究大多处于理论证明和仿真实验阶段，少有工程实践的验证。

而传统PID控制器在控制过程中，控制参数不变。但实际生产过程中，因为非线性、滞后性、扰动信号等因素，系统的过程参数和结构甚至都会发生变化，导致PID控制效果不理想。

目前，实现电力系统自动发电控制(Automatic Generation Control,AGC)功能的控制系统依旧采用传统的定参数PID控制器。控制器的目标是使输出量能够跟随输入量的变化而变化，即输出值等于输入的期望值，而存在于期望值与实际输出值中的差值则称为误差。实际上，实际输出值并不完全等于期望值，并且易受扰动影响而只能近似地实现，即误差必然存在。导致这种情况的共有两个原因：一是互联电网的AGC系统具有时变性、非线性以及参数不确定的特点；二是电网的实际用电负荷时刻都在发生变化，机组的各类参数也在随之改变。因此，定参数PID控制策略已经不能满足电网的调频需求。

发明内容

本部分的目的在于概述本申请的实施例的一些方面以及简要介绍一些较佳实施例，在本部分以及本申请的说明书摘要和申请名称中可能会做些简化或省略以避免使本部分、说明书摘要和申请名称的目的模糊，而这种简化或省略不能用于限制本申请的范围。

鉴于上述和/或现有技术中所存在的问题，提出了本申请。

因此，本申请所要解决的技术问题是：定参数PID控制策略已经不能满足电网的调频需求。

为解决上述技术问题，本申请提供如下技术方案：一种基于并行优势动作评价的强化学习自适应PID控制方法，包括，

设置采样周期，A2C算法的线程个数n，初始化网络参数；

获取当前状态误差，误差e_i(t)＝yd(t)-y(t)，由调度中心下发的计划出力值yd(t)和发电站实际出力值y(t)的差值确定，误差e_i(t)作为输入信号进入控制器；

根据当前状态误差，利用状态转换器构造第i个智能体的输入状态向量Θ_i(t)；