[发明专利]基于强化学习的工业过程最小-最大优化的容错控制方法

说明书

本发明涉及工业控制技术领域，具体是基于强化学习的工业过程最小‑最大优化的容错控制方法。包括：(1)在具有执行器故障和外部扰动的原系统状态空间模型基础上建立包含跟踪误差和状态增量的增广状态空间模型，并根据增广状态空间模型提出性能指标函数；(2)根据性能指标函数提出值函数以及Q函数，并构建相应的最优控制输入、最坏外部扰动及最优控制增益、最坏外部扰动增益的表达式；(3)给定能使系统稳定的最初的控制增益与外部扰动增益收集数据θ^j(k)及ρ_k^j，θ^j(k)及ρ_k^j是第j次迭代所产生的包含系统生产信息的数据；(4)通过强化学习更新控制增益K₁^F、外部扰动增益K₂^F；(5)如果达到迭代结束条件则迭代结束，否则转回步骤(4)继续迭代。本发明适用范围广、跟踪性能好、控制效果好。

技术领域

本发明涉及工业控制技术领域，尤其是涉及基于强化学习的工业过程最小-最大优化的容错控制方法。

背景技术

现代工业过程已随着科学技术水平的提升发生了诸多变化。生产流程更智能高效、生产规模愈发庞大、生产设备更加精密复杂等特点逐渐显现出来，这也意味着在生产过程中，工业过程更容易受到故障或外部干扰的影响，进而削弱了针对理想情况设计的控制方法的控制效果甚至使控制效果完全丧尸。在这种背景下，人们不再仅仅把目光局限于研究针对理想情况设计控制方法，这使得以削弱外部扰动对系统性能指标的负面影响为目的去设计控制器的鲁棒控制以及针对执行器故障等故障情况下的容错控制得到了发展。但回顾它们的发展成果能够发现：过去的控制方法多是基于模型的控制方法，对系统模型有着很大的依赖性，因此一旦脱离模型就会陷入困境，无法达成控制目标，在这种背景下人们开始寻找新的控制方法，特别是一些针对同时具有外部扰动和执行器故障的工业过程的新型容错控制方法。

现阶段的工业过程能够在生产过程中产生大量反映系统真实动态的数据，这些真实数据具有潜在的价值，如何充分利用这些数据以结合强化学习去设计相应的控制方法也是吸引了许多学者的注意力。为此，亟需研发一种基于强化学习的工业过程最小-最大优化的容错控制方法。

发明内容

本发明针对具有执行器故障和外部干扰的工业过程容错控制问题，提供一种基于强化学习的工业过程最小-最大优化的容错控制方法，该方法基于强化学习方法，通过利用工业过程实际生产所产生的数据进行不断学习，进而得到最优的控制策略及最坏外部扰动，最终达到良好的容错控制效果和跟踪性能。

为了达到上述目的，本发明采用的主要技术方案包括：

本发明提供一种基于强化学习的工业过程最小-最大优化的容错控制方法，该方法包括以下步骤：

本发明的有益效果是：本发明提出一种基于强化学习的工业过程最小-最大优化的容错控制方法，可以在系统具有外部扰动和执行器故障的情况下做到不依赖于系统模型，仅凭借工业过程本身在生产中产生的大量真实数据去不断学习进而设计出控制方法，最终实现理想中的控制目标，有效解决工业过程容错控制问题。不光如此，这种依托于真实的生产信息进行学习进而获取到的最优控制输入、最坏外部扰动以及最优控制增益和最坏外部扰动增益达到的控制效果也会优于过去基于模型的容错控制方法，与针对具有执行器故障和外部扰动的基于模型的容错控制方法相比，本发明所提出来的这种容错控制方法具有更广的适用范围、更好的跟踪性能、更佳的控制效果。且不论系统是处于正常情况下还是处于故障情况下，本发明提出的基于强化学习的工业过程最小-最大优化的容错控制方法都能起到良好的控制效果。在当前及此后的工业过程控制问题中，本发明所提出的容错控制方法能够很好的替代传统基于模型的容错控制方法，拓宽了可解决的执行器故障范围，更具使用价值，是保证工业生产过程安全高效运行并且生产出保质保量产品的优秀控制方法，有利于维护现阶段工业过程所涉及到的生命财产安全。

附图说明