[发明专利]一种基于强化学习的高超声速飞行器再入协同制导方法

权利要求书

1.一种基于强化学习的高超声速飞行器再入协同制导方法，其特征在于包括以下步骤：

S1、基于地心直角坐标系，建立高超声速滑翔飞行器再入动力学模型；

S2、结合高超声速飞行器再入动力学模型，考虑端点约束、常规路径约束，建立多约束条件下高超声速滑翔飞行器再入制导问题的模型；

S3、基于步骤S2的制导模型，纵向制导设计攻角剖面和高度能量剖面，快速计算攻角指令，解析推导倾侧角幅值；

S4、横向制导采用强化学习思想设计倾侧角符号决策机制，同时考虑落角和时间协同设计混合奖励函数；由于高超声速飞行器横向制导问题是一个典型的状态空间连续、动作空间离散的最优控制问题，选择强化学习中的DQN网络进行倾侧角符号智能决策问题研究；

采用两个深度神经网络（DNN）结构，一个为当前主网络，用来根据当前状态和采取的动作估计值即，为当前主网络的参数；一个为目标网络，根据目标状态和历史参数，计算目标状态-动作的值即，为当前时刻的奖励值，为折扣因子，规定每运行步，使用主网络中的参数代替目标网络中的参数，即；

倾侧角符号为“+”或“-”或“0”，动作空间记作：，三个动作对应的实际意义分别为：1表示维持上一制导周期倾侧角符号不变；-1表示倾侧角符号反转即与上一制导周期符号相反；0表示倾侧角值为零，在实际的轨迹中体现为无横向机动，采用Epsilon-greedy策略进行动作选择，即有概率为时，从动作空间中随机选择动作；当有概率时，从动作空间中选择值最大的动作；

根据值的Bellman方程形式，在神经网络训练中，定义当前主网络估计值与目标值的均方差为损失函数，即：

在迭代过程中，采用梯度下降法更新参数；

每次动作执行后会转移到下一个状态，并且获得一个奖励值，因此每次动作执行后将四元组，放入经验池，当需要对网络进行训练时，随机从经验池采集小批量的四元组进行训练，进而加快训练速度；

对于多个高超声速再入飞行器，在可行时间域内选取飞行时间，到达目标时刻视线角，则可设计阶梯状混合奖励函数为：

式中，为奖励函数；、、分别为期望的飞行航程、飞行时间、落角；、、分别为实际的飞行航程、飞行时间、终端时刻落角；

S5、获得倾侧角指令后，进行约束的强化管理，利用路径约束和倾侧角上下限约束对倾侧角指令进行限值，最后得到能够满足时间角度协同的再入制导指令；

S6、设计基于强化学习的高超声速飞行器再入协同制导方法。

2.根据权利要求1所述的一种基于强化学习的高超声速飞行器再入协同制导方法，其特征在于，所述步骤S1中基于地心直角坐标系中建立高超声速滑翔飞行器再入机动制导动力学模型为：

式中，是飞行器的地心距，是飞行器的地球相对速度，与分别是飞行器的航向角与航迹角，飞行器所处的经度纬度是判断飞行器路径约束的主要因素，和是飞行器的质量和当前地心距的重力加速度，飞行器的侧滑角与攻角分别控制飞行器制导策略中的横向、纵向制导剖面，与是飞行器在飞行过程中的气动阻力与升力，其中是飞行器当前高度的空气密度，是飞行器的参考横截面积，与分别是与飞行器攻角有关的空气动力学参数，该模型中，侧滑角与攻角是控制量。

3.根据权利要求1所述的一种基于强化学习的高超声速飞行器再入协同制导方法，其特征在于，所述步骤S2中考虑端点约束、常规路径约束，建立多约束条件下高超声速滑翔飞行器再入制导问题的模型：

多约束问题考虑端点约束和常规路径约束：

令为飞行器状态矩阵，为较小的常值矩阵，端点约束描述为，式中，代表终端时刻算法得到的状态量，代表终端时刻的目标状态量，越小，飞行器轨迹优化目标终点状态越接近任务的预定状态，轨迹优化的效果越好；

常规路径约束包括热流率约束、过载约束和动压约束，其数学模型分别为：

其中，分别是热流率、过载与动压在飞行器飞行过程中的最大值，热流率常数；

最终得到的模型多约束条件下高超声速飞行器再入协同制导问题描述，模型如下：

需要满足的约束：

。