[发明专利]一种基于深强化学习的航空发动机控制方法、装置

说明书

本发明公开了一种基于深强化学习的航空发动机控制方法，首先根据控制指令和反馈参数获得初始的燃油流量，然后根据预设的发动机物理限制对初步的燃油流量进行修正，最后按照修正后的燃油流量向航空发动机输入相应流量的燃油；所述根据控制指令和反馈参数获得初始的燃油流量，具体是通过深度强化学习网络实现。本发明还公开了一种基于深强化学习的航空发动机控制装置。相比现有技术，本发明采用深度增强学习方法来设计发动机控制器，使得发动机随学习时间增加，其响应速度不断提高，从而提高发动机响应速度。

技术领域

本发明属于航空宇航推进理论与工程中的系统控制与仿真技术领域，具体涉及一种基于深强化学习的航空发动机控制方法、装置。

背景技术

航空发动机是一个多变量、强非线性、强耦合性、时滞的受控对象。随着发动机升级换代，如何在保证发动机安全稳定运行情况下，设计性能良好的发动机控制器变得越来越困难；而且，对于这样一个复杂多变的控制装置，没有必要的控制是不可能保证其正常工作的；此外，发动机的性能不仅与机械制造技术、材料特性和加工工艺的质量密切相关，而且与控制系统的质量密切相关；同时，发动机控制系统将减轻驾驶员操作的负担。因此，有必要研究如何设计具有高响应速度的航空发动机控制方法。

近年来，基于深度强化学习(Deep Reinforcement Learning，DRL)的控制方法，由于采用无模型、深层学习(Deep Learning，DL)等技术，该方法可以随着学习时间的延长，其智能化程度将越来越高，引起了许多研究者的研究兴趣。SuigEMA等人提出了一种基于强化学习(RL)算法的被动动态步行机器人控制器。Wang等人采用Q学习算法选择双足机器人在不平坦表面上行走的PD控制器参数。Ziqiang等人设计的基于BP神经网络的二维双足机器人Q学习控制器。Mnih等人提出了基于卷积神经网络的深度强化学习方法，并成功地从高维感觉输入中直接学习控制策略。Lillicrap等人提出了一个基于确定性策略梯度的无模型算法，该算法可以在连续动作空间上操作。Oh等人在Minecraft(一个灵活的3D世界)中引入了一组新的RL任务，并使用这些任务系统地比较和对比现有的DRL体系结构和基于内存的DLL体系结构。上述工作在DRL的应用方面取得了很大的控制效果。但目前尚未发现有人对DRL在发动机控制中的应用进行研究。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种基于深强化学习的航空发动机控制方法，采用深度增强学习方法来设计发动机控制器，使得发动机随学习时间增加，其响应速度不断提高，从而提高发动机响应速度。

本发明具体采用以下技术方案解决上述技术问题：

一种基于深强化学习的航空发动机控制方法，首先根据控制指令和反馈参数获得初始的燃油流量，然后根据预设的发动机物理限制对初步的燃油流量进行修正，最后按照修正后的燃油流量向航空发动机输入相应流量的燃油；所述根据控制指令和反馈参数获得初始的燃油流量，具体是通过深度强化学习网络实现，所述深度强化学习网络的动作值函数Q_j(s,a)如下：

其中s是发动机状态，a是发动机的动作，α是深度强化学习的学习率，r是回报值，γ是回报衰减率，s_j是第j时刻发动机状态，s_t是发动机目标状态；回报值r_j的计算公式具体如下：

其中，是预测的控制目标值，u是发动机控制输入，Q和R是正定的对称矩阵。

优选地，所述深度强化学习网络的输入为当前和过去的燃油流量W_fb、过去时刻风扇转子转速N_f、压气机转子转速N_c、风扇喘振裕度S_mf、压气机喘振裕度S_mc以及高压涡轮进口温度T₄₁，所述深度强化学习网络的输出为动作值函数。