[发明专利]一种基于在线数据的同步策略更新最优控制方法

说明书

本发明涉及一种基于在线数据的同步策略更新最优控制方法，属于智能控制与最优控制领域。该方法包括如下步骤：1、初始化系统状态、确定三个NN激活函数，并给其权值赋任意初值；设定数据采集长度及迭代终止条件；2、选择任意的控制输入与干扰噪声作用于系统；3、以固定速率分别采样系统当前状态与控制、噪声输入，并且计算出算法相关中间变量；4、判断数据是否有效，是则进行下一步；否则跳转到步骤1；5、更新三个NN权值；6、判断是否满足迭代终止条件，是则输出结果；否则跳转到步骤5。本发明提出的方法解决了传统控制方法对被控对象模型的依赖问题，缓解了控制器求解的巨大压力，同时增加了系统的鲁棒性。

技术领域

本发明涉及一种基于在线数据的同步策略更新最优控制方法，属于智能控制与最优控制领域。

背景技术

动态规划(DP)是解决动态优化和优化控制问题的一种系统方法。它依赖于最优性原则，并通过一个代价函数来寻找最优控制策略。而这个代价函数要满足哈密顿-雅可比-贝尔曼(HJB)方程(对应最优控制)或哈密顿-雅可比-艾萨克斯(HJI)方程(对应微分对策)。在各种控制应用中，系统中存在许多干扰现象，在控制性能中起着消极作用。H_∞控制提供了一个强大的算法工具来降低系统遭受干扰的影响。根据微分对策理论,寻找H_∞控制器相当于求解二人零和博弈(ZSG)，其中控制器试图在最大可能的扰动下最小化性能指标。然而，由于HJB或者HJI方程固有的非线性性质，得到其解析解几乎是不可能的。

最近，一个新提出的算法，被称为自适应/近似动态规划(ADP)，解决了针对ZSG问题的各种最优控制问题。其基本思想是利用一个函数近似结构来估计代价函数，用于按时间正向来求解DP问题，从而避免了“维数灾”问题，为非线性最优控制和微分对策提供了一个便捷、有效的解决方法。在实际工程应用中，被控对象精确的动力学模型通常是未知的。一些研究人员使用神经网络(NN)来识别未知动态，然后在辨识网络上应用ADP找到最优解。然而，网络中的辨识误差对最终控制器的最优性是不利的。训练辨识网络也增加了计算成本，增加了学习时间。因此，人们更渴望一个完全不依赖系统模型的最优控制方法。

另外，注意到在线策略迭代也是控制设计的流行方法，下面讨论离线策略更新相较在线迭代的优势所在。

在线的方法在计算目标控制策略μ的值函数时，需要使用策略μ作用于系统得到数据。然而在线学习算法在实际的执行时，使用的是近似目标控制策略(而不是实际的目标政策μ)生成数据学习它的值函数，迭代计算最优控制，这会严重影响策略的学习方向。因为，这些被未被充分代表的状态(即，在最优控制下不会出现的状态)的估计值函数可能是高度不准确的，换句话说，在线策略学习方法使用“不准确”的数据来学习其值函数，必将增加累积误差。这被称为“不充分探索”，是在线迭代方法中一个特别尖锐的问题。

在工业领域，科技创新与进步呈现出两个突出的特点。一个随着生产系统规模越来越大，操作越来越复杂，越来越多的实际系统正面临着难以建立精确的工业生产过程模型来满足控制设计需求的困难。另一个特点是，大量的数据存储在工业过程中，但没有得到有效利用。因此，提出的基于数据的非线性系统离线迭代最优控制问题具有重要的意义和挑战性。

发明内容

针对难以建立精确的工业生产过程模型来满足控制设计需求的困难，及工业工程产生的大量数据未得到有效利用等问题，本发明提出一种基于在线数据的同步策略更新最优控制方法。

本发明为解决其技术问题采用如下技术方案：

一种基于在线数据的同步策略更新最优控制方法，包括以下步骤：

步骤1：初始化系统状态、确定三个NN激活函数，并给其权值赋任意初值；设定数据采集长度及迭代终止条件；

步骤2：选择任意的控制输入与干扰噪声作用于系统；

步骤3：以固定速率分别采样系统当前状态与控制、噪声输入，并且计算出算法相关中间变量；