[发明专利]一种基于Q-Learning的变循环航空发动机推力控制方法

权利要求书

1.一种基于Q-Learning的变循环航空发动机推力控制方法，其特征在于：包括以下步骤：

步骤1：基于变循环航空发动机仿真模型建立Q-Learning推力控制器，以仿真模型作为训练环境，创建二维表Q表对动作值函数Q(s,a)进行表示，其中，s为变循环航空发动机状态参数，a为燃油流量；

步骤2：确定变循环航空发动机推力控制器当前时刻燃油流量a_t；

步骤2.1：获取变循环航空发动机当前的状态，计算变循环航空发动机当前时刻状态参数s_t；

步骤2.2：将所述变循环航空发动机当前时刻状态参数s_t与燃油流量a作为Q表输入，查找所有可选择的燃油流量a的价值，即Q值，利用ε-贪婪策略计算控制器输出，即当前时刻燃油流量a_t；

步骤3：将所述当前时刻燃油流量a_t分配至变循环航空发动机推力控制器，实现变循环航空发动机的推力控制；

步骤4：更新动作值函数Q(s,a)；

步骤4.1：获取变循环航空发动机下一时刻状态参数s_t+1，计算延时奖励R_t+1；

步骤4.2：根据所述延时奖励R_t+1对Q表在s＝s_t，a＝a_t处的值，即Q(s_t,a_t)进行更新；

步骤5：使用窗口平均方法计算控制获得的平均奖励值若所述平均奖励值小于设定的目标奖励值，令s_t＝s_t+1，跳转至步骤2，进行迭代；否则，迭代结束，完成变循环航空发动机推力控制器训练。

2.根据权利要求1所述的一种基于Q-Learning的变循环航空发动机推力控制方法，其特征在于：所述步骤1中Q表大小为n×m，n为离散化后的状态总数，m为离散化的动作总数；Q表使用变循环航空发动机状态参数s与燃油流量a作为索引，输出状态s下执行a的Q值。

3.根据权利要求1所述的一种基于Q-Learning的变循环航空发动机推力控制方法，其特征在于：所述步骤2.1中变循环航空发动机当前时刻状态参数包括：目标推力、目标推力与实际推力差值、目标推力与实际推力差值的导数、高压转子转速、低压转子转速，经过离散化后获得当前时刻状态参数s_t。

4.根据权利要求1所述的一种基于Q-Learning的变循环航空发动机推力控制方法，其特征在于：所述步骤2.2中利用的ε-贪婪策略如下：

其中，random a是在设定的动作集合中随机选择燃油流量控制指令，是选择使Q(s_t,a)值最大的燃油流量a，rand是随机数，ε是随机因子，可通过改变ε大小来改变燃油流量指令的随机性。

5.根据权利要求1所述的一种基于Q-Learning的变循环航空发动机推力控制方法，其特征在于：所述步骤4.1中延时奖励R_t+1由目标推力与实际推力差值决定，其值的大小遵循所述目标推力与实际推力差值的绝对值越小奖励越高的原则。