[发明专利]一种基于强化学习的高超声速飞行器再入协同制导方法

说明书

本发明公开了一种基于强化学习的高超声速飞行器再入协同制导方法，具体涉及一种基于强化学习的高超声速飞行器再入协同制导方法。建立高超声速再入动力学模型以及多约束再入模型；设计攻角剖面和高度能量剖面，获得攻角和倾侧角的解析解；根据DQN算法对倾侧角符号智能决策，扩展其动作空间，考虑时间协同和落角协同设计阶梯状混合奖励函数；离线训练倾侧角智能决策模型，给定协同时间和协同落角在线获得制导指令，得到了一种基于智强化学习的高超声速飞行器再入协同制导方法，有效的克服了飞行器制导策略中，倾侧角符号翻转频繁，满足了时间协同和落角协同，仿真实验验证了本发明能够很好的考虑时间和落角协同下进行多高超声速飞行器制导。

技术领域

本发明涉及高超声速飞行器再入协同制导技术领域，尤其是涉及一种基于强化学习的高超声速飞行器再入协同制导方法。

背景技术

高超声速飞行器再入协同制导是近年来高超声速飞行器研究的核心和重点之一，采用多个高超声速飞行器同时实现时间协同和落角协同仍是多国未解决的难题。

高超声速飞行器本生具有强耦合、强非线性、强不确定性的特点，单枚飞行器的轨迹优化与制导已十分困难，可想而知，多枚高超声速飞行器轨迹优化与制导问题的复杂度必然是急剧增加的，再加上时间协同的约束，多高超飞行器时间协同的再入机动制导问题研究具有一定的挑战性。除此之外，不同再入任务对终端约束也不同，一些新型任务同时对落角有一定要求，因此，以时间和角度协同为性能指标，完成多高超声速飞行器再入协同制导问题研究，能够极大地提升高超声速飞行器的生存能力，对于高超声速飞行器实际应用具有重要意义。高超声速飞行器再入机动飞行中，飞行高度和马赫数跨度范围大、飞行环境复杂、气动特性变化剧烈、飞行约束条件多，对高超声速飞行器精确制导系统提出了较高的要求，多枚高超协同完成任务，问题的复杂度急剧提升，传统针对单枚高超的制导算法，难以直接应用到再入协同制导方法设计中，因此如何设计具备飞行时间可控能力的再入制导方法是一个领域内研究的热点。

再入飞行器制导方法主要有标称轨迹制导方法和预测校正制导方法两大类。标称轨迹制导方法依赖事先规划好的再入轨迹，难以满足未来对升力式再入飞行器自主性要求。预测校正法随着弹载计算机计算能力的提高，采用数值方法预测轨迹逐渐成为主流。随着人工智能的高速发展，采用强化学习改进预测校正法，提高制导能力成为更多学者的选择。

发明内容

本发明的目的是提供一种基于强化学习的高超声速飞行器再入协同制导方法，有效的克服了飞行器制导策略中，倾侧角符号翻转频繁，满足了时间协同和落角协同，仿真实验验证了本发明能够很好的考虑时间和落角协同下进行多高超声速飞行器制导。

为实现上述目的，本发明提供了一种基于强化学习的高超声速飞行器再入协同制导方法，包括以下步骤：

S1、基于地心直角坐标系，建立高超声速滑翔飞行器再入动力学模型；

S2、结合高超声速飞行器再入动力学模型，考虑端点约束、常规路径约束，建立多约束条件下高超声速滑翔飞行器再入制导问题的模型；

S3、基于步骤S2的制导模型，纵向制导设计攻角剖面和高度能量剖面，快速计算攻角指令，解析推导倾侧角幅值；

S4、横向制导采用强化学习思想设计倾侧角符号决策机制，同时考虑落角和时间协同设计混合奖励函数；

S5、获得倾侧角指令后，进行约束的强化管理，利用路径约束和倾侧角上下限约束对倾侧角指令进行限值，最后得到能够满足时间角度协同的再入制导指令；

S6、设计基于强化学习的高超声速飞行器再入协同制导方法。

优选的，所述步骤S1中基于地心直角坐标系中建立高超声速滑翔飞行器再入机动制导动力学模型为：