[发明专利]一种基于Q-Learning的变循环航空发动机推力控制方法

说明书

本发明提供一种基于Q‑Learning的变循环航空发动机推力控制方法，属于航空发动机控制与仿真技术领域，该方法包括：通过Q学习方法建立变循环航空发动机的动作值函数，根据控制指令和反馈参数，结合ε‑贪婪策略，得到适宜的变循环航空发动机燃油流量；进一步，按所述燃油流量对变循环航空发动机推力进行控制，并根据系统的反馈更新动作值函数。本发明采用Q‑Learning方法构建变循环航空发动机推力控制器，且随着训练次数的增加，发动机动态、稳态特性逐步提升，可显著提高发动机性能。此外，Q‑Learning控制器可不断累积经验，对不同的控制指令或推力要求，迅速调整燃油流量，实现具有自主学习能力的变循环航空发动机快速、稳定控制。

技术领域

本发明属于航空发动机控制与仿真技术领域，具体涉及了一种基于Q-Learning的变循环航空发动机推力控制方法。

背景技术

变循环航空发动机通过改变发动机某些可变几何部件的尺寸、形状、位置来改变发动机的循环参数，提高发动机推进系统的整体性能。同时，变循环航空发动机又兼具多种工作模式，在亚音速、跨音速、超音速及高超音速工况下都能表现出较好的性能。但一个快速、准确、稳定且具有一定自主学习能力的控制系统是保证发动机整体性能的前提条件，而如PID控制、自抗扰控制、模糊控制等传统控制方法对于变循环航空发动机这一类具有强非线性、多变量、多工种模式等特性的复杂系统，难以在全包线和变工况下达到具有自主学习能力理想的控制效能。此外，传统控制技术对复杂系统难以满足控制精度要求、对于强非线性系统鲁棒性较差、响应速度慢等缺点。因此，探索其他性能更优异的控制方法变得十分重要。

近年来，人工智能技术发展迅速，已被广泛应用到生产生活中的诸多领域，如图像处理、无人驾驶、智能机器人等，也带动了机器学习这一重要的技术分支，而强化学习作为机器学习的重要内容，受到了广大科技者的青睐。目前，强化学习技术多被应用于搜索与优化问题的求解，从经典的倒立摆问题到机器人路径寻优等问题中均有体现。然而，强化学习方法在控制领域并不多见。从强化学习原理出发，控制器也可以实现智能体的试错功能，模型反馈的一系列参数可作为控制器的状态输入变量。最重要的一点是，奖励可以根据需求人为设定，进一步满足更高的控制性能要求。综上所述，强化学习算法可在包括航空发动机控制等自动控制领域发挥重要作用。

发明内容

针对现有技术存在的不足，本发明提供一种基于Q-Learning算法的变循环航空发动机推力控制方法，实现具有强非线性、多变量、多模式的变循环发动机快速、稳定控制，使得发动机随训练次数增加，其控制系统动态、稳态特性不断增强，从而提高发动机的整体性能。为解决上述技术问题，本发明采用如下技术方案：

一种基于Q-Learning的变循环航空发动机推力控制方法，具体实现步骤为：

步骤1：基于变循环航空发动机仿真模型建立Q-Learning推力控制器，以仿真模型作为训练环境，创建二维表(Q表)对动作值函数Q(s，a)进行表示，其中，s为变循环航空发动机状态参数，a为燃油流量；

步骤2：确定变循环航空发动机推力控制器当前时刻燃油流量a_t；

步骤2.1：获取变循环航空发动机当前的状态，计算变循环航空发动机当前时刻状态参数s_t；

步骤2.2：将所述变循环航空发动机当前时刻状态参数s_t与燃油流量a作为Q表输入，查找所有可选择的燃油流量a的价值，即Q值，利用ε-贪婪策略计算控制器输出，即当前时刻燃油流量a_t；

步骤3：将所述当前时刻燃油流量a_t分配至变循环航空发动机推力控制器，实现变循环航空发动机的推力控制；

步骤4：更新动作值函数Q(s，a)；

步骤4.1：获取变循环航空发动机下一时刻状态参数s_t+1，计算延时奖励R_t+1；