[发明专利]一种基于强化学习的航空发动机过渡态寻优控制方法

说明书

本发明提供一种基于强化学习的航空发动机过渡态寻优控制方法，属于航空发动机过渡态技术领域。包括：基于现有的某型双轴涡轮风扇发动机模型，将其调整为适用于调用强化学习算法的模型；为了同时满足实时模型的高位状态空间和连续动作输出，设计Actor‑Critic网络模型；设计基于Actor‑Critic框架的深度确定性策略梯度算法，以便同时解决高维状态空间和连续动作输出的问题；在将Actor‑Critic框架与DDPG算法结合之后，进行模型的训练；发动机加速过渡的控制规律是由上述训练过程得到的，应用此方法对发动机加速过程进行控制。

技术领域

本发明属于航空发动机过渡态技术领域，涉及一种应用于航空发动机过渡态加速寻优控制方法。

背景技术

航空发动机各种过渡态工作性能是衡量发动机性能极为重要的指标，加速过程控制是航空发动机典型的过渡态控制，加速控制的快速性与安全性直接影响航空发动机及飞机性能。一般而言，加速控制要求在给定的各类指标约束条件下，使发动机从某一工作状态过渡到另一工作状态的时间最小。

目前存在的方法主要可分为以下三种，近似确定法，基于动态规划的最优控制方法和提取功率法等。近似确定法是以发动机稳定工作状态下的平衡方程近似过渡态的工作情况为基础确定发动机过渡态加速规律，存在设计精度低，实现过程复杂等缺点。动态规划法是基于发动机动态特性计算模型，存在多种约束的优化方法，即直接在该模型基础上建立所需性能的目标函数，通过优化算法来寻找最优过渡态控制规律，其关键在于非线性优化算法的实现，常见的有约束变尺度法，二次序列规划法，遗传算法等，存在数值方法复杂，计算量大及鲁棒性问题等缺点。提取功率法是通过在发动机稳态特性计算模型的基础上额外增加转子提取功率，使其近似于过渡态情况，以设计最优控制规律，此方法忽略了容积效应以及多转子之间的动态耦合等因素影响。在目前已有的航空发动机过渡态控制方法中，加速控制规律的设计均存在设计过程复杂，鲁棒性，工作范围小等问题。

发明内容

针对现有航空发动机过渡态控制规律设计方法在设计复杂、工作范围小、鲁棒性差等问题，本发明提供一种基于强化学习的航空发动机过渡态加速控制方法。

本发明采用的技术方案为：

一种基于强化学习的航空发动机过渡态加速控制方法，其设计过程包括以下步骤：

S1基于现有的某型双轴涡轮风扇发动机模型，将其调整为适用于调用强化学习算法的模型。具体如下：

S1.1根据发动机过渡态控制需求，将双轴涡轮风扇发动机模型的输入输出变量进行选择，包括燃油流量、飞行条件、高低压转子转速、油气比、喘振裕度以及涡轮入口总温。

S1.2调整后的双轴涡轮风扇发动机模型为了方便强化学习算法的调用与训练，将双轴涡轮风扇发动机模型通过封装为直接调用的实时模型，加快训练与仿真速度，相较于传统的模型直接进行训练的方式训练速度得到大幅提升。

S2为了同时满足实时模型的高位状态空间和连续动作输出，设计Actor-Critic网络模型。具体如下：

S2.1采用Actor网络生成动作，所述Actor网络由传统深度神经网络组成，每一步的输出行为a_t可以通过确定性策略函数μ(s_t)和输入状态s确定，用深度神经网络对策略函数进行拟合，参数为θ^μ，根据实际需要确定每一参数的具体内容。

S2.2设计相应的Actor网络结构，包括输入层、隐含层和输出层，其中隐含层的作用需要包括将状态映射为特征，以及将前层输出归一化同时输入动作值。激活函数可以选择ReLU函数或Tanh函数，但不仅限于此，常用的激活函数有：

(1)Sigmoid函数

(2)Tanh函数