[发明专利]一种基于深强化学习的航空发动机控制方法、装置

权利要求书

1.一种基于深强化学习的航空发动机控制方法，首先根据控制指令和反馈参数获得初始的燃油流量，然后根据预设的发动机物理限制对初步的燃油流量进行修正，最后按照修正后的燃油流量向航空发动机输入相应流量的燃油；其特征在于，所述根据控制指令和反馈参数获得初始的燃油流量，具体是通过深度强化学习网络实现，所述深度强化学习网络的动作值函数Q_j(s,a)如下：

其中s是发动机状态，a是发动机的动作，α是深度强化学习的学习率,r是回报值,γ是回报衰减率,s_j是第j时刻发动机状态，s_t是发动机目标状态；回报值r_j的计算公式具体如下：

其中，是预测的控制目标值，u是发动机控制输入，Q和R是正定的对称矩阵。

2.如权利要求1所述基于深强化学习的航空发动机控制方法，其特征在于，所述深度强化学习网络的输入为当前和过去的燃油流量W_fb、过去时刻风扇转子转速N_f、压气机转子转速N_c、风扇喘振裕度S_mf、压气机喘振裕度S_mc以及高压涡轮进口温度T₄₁，所述深度强化学习网络的输出为动作值函数。

3.一种基于深强化学习的航空发动机控制装置，包括：用于根据控制指令和反馈参数获得初始的燃油流量的控制器，用于根据预设的发动机物理限制对初步的燃油流量进行修正的限制选择单元；用于按照修正后的燃油流量向航空发动机输入相应流量的燃油的执行机构；其特征在于，所述控制器为深度强化学习网络，所述深度强化学习网络的动作值函数Q_j(s,a)如下：

其中s是发动机状态，a是发动机的动作，α是深度强化学习的学习率,r是回报值,γ是回报衰减率,s_j是第j时刻发动机状态，s_t是发动机目标状态；回报值r_j的计算公式具体如下：

其中，是预测的控制目标值，u是发动机控制输入，Q和R是正定的对称矩阵。

4.如权利要求3所述基于深强化学习的航空发动机控制装置，其特征在于，所述深度强化学习网络的输入为当前和过去的燃油流量W_fb、过去时刻风扇转子转速N_f、压气机转子转速N_c、风扇喘振裕度S_mf、压气机喘振裕度S_mc以及高压涡轮进口温度T₄₁，所述深度强化学习网络的输出为动作值函数。