[发明专利]一种利用线性系统数据解决工业控制最优跟踪控制方法

权利要求书

1.一种利用线性系统数据解决工业控制最优跟踪控制方法，其特征在于，所述方法包括以下过程：

针对线性离散系统，将Q学习应用于系统状态空间的扩展形式，提出了一种改进的离散时间线性系统数据驱动最优跟踪控制算法，该算法仅通过使用输入、输出和测量的值，用来解决扩展状态空间模型的线性二次调节问题，采用数据驱动的方法；

首先提出最优跟踪控制问题，然后把系统模型改写成扩展状态空间模型，通过设计差分输入来寻找最优的跟踪控制策略，在不考虑系统动力学的情况下使系统的输出跟随目标参考信号；

基于最优跟踪控制策略，设计了基于Q学习的最优值函数；

该算法利用测量数据，得到近似最优跟踪控制器，在该控制器下，所考虑的系统通过最优方法跟踪参考信号，采用输出调节方法，直接利用测量的差分输出、差分输入和跟踪误差来学习最优跟踪控制策略；首先构建关系矩阵，然后分别定义最优值函数和最优Q函数，根据稳定控制策略得到Q函数的Bellman方程。

2.根据权利要求1所述的一种利用线性系统数据解决工业控制最优跟踪控制方法，其特征在于，所述基于Q学习的最优值函数，其步骤为：

（1）建立合适的关系矩阵；

（2）根据稳定控制策略进一步优化最优值函数，从而得到Q函数的Bellman方程；

在此基础上设计迭代算法。

3.根据权利要求2所述的一种利用线性系统数据解决工业控制最优跟踪控制方法，其特征在于，所述迭代算法， 包括以下四个步骤：

（1）进行初始化，给定稳定控制器增益；

（2）然后通过求解Q函数矩阵进行性能评估；

（3）最后进行策略更新：；

（4）当是一个很小的值，停止迭代。