[发明专利]一种基于强化学习的涡扇发动机直接推力智能控制方法

说明书

本发明公开了一种基于强化学习的涡扇发动机直接推力智能控制方法，包括以下步骤：步骤1)，选取策略和评价网络结构和参数，设计考虑关键安全参数保护的直接推力制器形式和强化学习环境的奖励形式；步骤2)，基于连续型策略梯度强化学习算法，利用部件级模型搭建环境进行探索，通过探索获得的经验训练智能体策略网络和评价网络；步骤3)，测试智能体在全包线范围内的控制性能表现，优化网络结构和参数。本发明解决了涡扇发动机间接推力控制动态性能差、保守性高、推力控制不精确等问题，通过本发明设计的奖励激励智能体在全包线范围内搜寻动态性能最优的直接推力控制器，并且保证发动机关键安全参数在控制过程中不超限。

技术领域

本发明属于航空发动机控制技术领域，具体涉及一种基于强化学习的涡扇发动机直接推力智能控制方法。

背景技术

随着航空发动机向着高推重比/功重、高性能和高经济性的方向发展，传统的航空发动机间接式推力控制方式已经不能够再满足先进航空发动机控制的需求。

传统的间接推力控制方式通常通过控制发动机的压比和转速控制发动机的推力输出水平，但是这种控制方式存在较多弊端。第一，离线设计的控制器存在较大保守性，限制了发动机性能水平的发挥；第二，发动机之间的个体差异会导致推力控制存在偏差；第三，间接推力控制中油门杆角度与推力之间的变化关系呈非线性，增加了飞行员操控飞机的难度和响应时间，给战斗过程增加了风险；第四，双发民航客机由于发动机推力输出不平衡会发生偏航，需要追加尾舵控制来纠正，提高了客机的风阻，降低了客机的经济性。根据以上四点，间接推力控制严重制约了高性能航空发动机的发展，因此直接推力控制技术就有了其研究的必要性。

美国的智能发动机(Intelligent engine control,IEC)作为排在前四位的先进控制概念，其研究的核心内容之一就是直接推力控制。由NASA发起的航空技术发展研讨会也提出需要减少飞行员的工作量，提高飞机发动机运行的自主性。直接推力控制的研究正在全世界范围内受到广泛关注。

然而，直接推力控制技术存在较多关键技术问题尚未突破。首先是在控制架构方面，当前已有的直接推力控制架构大致有三种：双环架构、多变量控制架构和基于优化算法的控制架构。双环架构通常只是在PI控制的架构上嵌套外层推力反馈控制，增加了系统的复杂度，且难以获得满意的动态特性。基于线性算法的多变量控制架构中，由于控制量多于被控量时会存在超定方程组求解难的问题，因此不得不增加额外的被控量，这对于推力控制是冗余的，且会影响推力控制的效果。基于优化算法的控制架构来说，虽然可以获得较好的控制效果，但是该种构架的控制精度依赖于建模精度，而且在线优化计算量大，难以满足控制的实时性要求。当前情况下，很难有一种架构可以应用于工程实际，亟需开发一种适用于多变量航空发动机且具有优良动态品质的直接推力控制方法。

发明内容

发明目的：为了克服现有的涡扇发动机间接式推力控制技术在推力控制中存在的不足，本发明提出一种涡扇发动机直接推力智能控制器设计方法，考虑涡扇发动机的强非线性和强时间序列特性，通过设计新的控制器和奖励形式，采用LSTM RNN替换强化学习策略及评价网络中的全连接神经网络，基于PPO算法训练全包线直接推力控制器。采用上述方法，可以获得在全包线内具备优良动态性能的控制器，实现安全有效的直接推力控制。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种涡扇发动机直接推力智能控制器设计方法，包括以下步骤：

步骤1)，选取策略和评价网络结构和参数，设计考虑关键安全参数保护的直接推力控制器形式和强化学习环境的奖励形式；

步骤2)，训练全包线智能直接推力控制器：基于连续型策略梯度强化学习算法，利用部件级模型搭建环境进行探索，通过探索获得的经验训练智能体策略网络和评价网络；

步骤3)，测试智能体在全包线范围内的控制性能表现，优化网络结构和参数。

进一步的，所述步骤1)中的具体步骤如下：