[发明专利]一种利用线性系统数据解决工业控制最优跟踪控制方法

说明书

一种利用线性系统数据解决工业控制最优跟踪控制方法，涉及一种工业控制最优跟踪控制方法，本发明通过最小化包含跟踪参考信号目标的函数，来寻找一种最优控制率来保证对参考信号的跟踪。发明主要针对最优控制器需要精确的系统模型问题，设计了一种在不需要系统动力学知识的情况下，就可以学习到最优跟踪控制器增益方法。该发明主要优点是利用输入、输出和它们的过去值等测量增广变量来跟踪误差，在得到近似最优跟踪控制器的同时，不需要设计状态观测器。并且使用在该控制器下，所考虑的系统可以通过最优方法跟踪参考信号，此技术可以在工业过程被控系统难以精确建模以及系统状态测量成本高或者不可测的情况下,对控制器进行设计。

技术领域

本发明涉及一种工业控制最优跟踪控制方法，特别是涉及一种利用线性系统数据解决工业控制最优跟踪控制方法。

背景技术

通过最小化包含跟踪误差的特定性能指标，寻找一种最优控制律来保证对参考信号的跟踪。这是具有广泛工业、医疗、航空等应用的控制论的基本问题，最优跟踪控制的丰富成果确实为今后的一系列研究奠定了基础。据公开文献所知，系统状态不可用的无模型最优跟踪控制问题尚未得到充分研究。然而，请注意，在设计最优控制器时，开创性的工作需要精确的系统模型，而这一要求在实践中很少可用。在过去的几十年中，由于数据驱动强化学习(RL)能够通过与未知环境的交互作用来找到最优解，因此在过去的几十年里，它引起了越来越多的关注。在实际中很难获得系统模型参数或系统状态，工业过程被控系统难以精确建模，并且系统状态测量成本高或者不可测，所以利用输入、输出和它们的过去值等测量增广变量来进行跟踪是非常必要的。

发明内容

本发明的目的在于提供一种利用线性系统数据解决工业控制最优跟踪控制方法，本发明提出一种完全数据驱动的离散线性系统最优跟踪控制器智能设计方案，利用输入、输出和它们的过去值等测量增广变量来进行跟踪，解决工业系统控制器设计存在问题。

本发明的目的是通过以下技术方案实现的：

一种利用线性系统数据解决工业控制最优跟踪控制方法，其特征在于，所述方法包括以下过程：

针对线性离散系统，将Q学习应用于系统状态空间的扩展形式，提出了一种改进的离散时间线性系统数据驱动最优跟踪控制算法，该算法仅通过使用输入、输出和测量的值，用来解决扩展状态空间模型的线性二次调节问题，采用数据驱动的方法；

首先提出最优跟踪控制问题，然后把系统模型改写成扩展状态空间模型，通过设计差分输入来寻找最优的跟踪控制策略，在不考虑系统动力学的情况下使系统的输出跟随目标参考信号；

基于最优跟踪控制策略，设计了基于Q学习的最优值函数；

该算法利用测量数据，得到近似最优跟踪控制器，在该控制器下，所考虑的系统通过最优方法跟踪参考信号，采用输出调节方法，直接利用测量的差分输出、差分输入和跟踪误差来学习最优跟踪控制策略；首先构建关系矩阵，然后分别定义最优值函数和最优Q函数，根据稳定控制策略得到Q函数的Bellman方程。

所述的一种利用线性系统数据解决工业控制最优跟踪控制方法，所述基于Q学习的最优值函数，其步骤为：

（1）建立合适的关系矩阵；

（2）根据稳定控制策略进一步优化最优值函数，从而得到Q函数的Bellman方程；

在此基础上设计迭代算法。

所述的一种利用线性系统数据解决工业控制最优跟踪控制方法，所述迭代算法，包括以下四个步骤：

（1）进行初始化，给定稳定控制器增益；

（2）然后通过求解Q函数矩阵进行性能评估；

（3）最后进行策略更新：；

（1）（4）当是一个很小的值，停止迭代。