[发明专利]基于DDPG的直/气复合飞行器控制系统的设计方法

说明书

本发明提供了一种基于DDPG的直/气复合飞行器控制系统的设计方法，属于航空航天技术领域，包括：根据定流量轨控发动机阀门开度与轨控直接力推力大小的映射关系，得到轨控发动机相关系统的数学模型，基于经典控制方法，设计轨控过载指令跟踪子系统；建立直/气复合控制系统动力学方程，推导得到考虑侧喷干扰后的短周期弹体传递函数；结合执行机构和各状态量约束条件，基于DDPG方法设计姿态稳定子系统，完成控制系统的设计。该方法通过引入DDPG强化学习，考虑了包括侧喷干扰，轨控发动机安装误差在内的几种耦合和干扰，并很好地处理了这些耦合和干扰。

技术领域

本发明属于航空航天技术领域，具体涉及一种基于DDPG的直/气复合飞行器控制系统的设计方法。

背景技术

金一欢等人采用自适应高阶滑模理论，在考虑执行机构约束和直接力机构特性的基础上设计分配虚拟控制量，并通过数字仿真验证了所设计的控制律。但是相关对比仿真是在简化的数学模型中进行的，且并未考虑直接力喷流所带来的影响。毕永涛等人结合非线性模型预测方法与自抗扰控制方法设计了姿态控制系统，并通过仿真验证了该策略能够加快过载响应速度。但是该方法将模型不确定性和误差全部加以抑制，不能实现对干扰的利用。孙兴龙等人设计了不同过载指令变化速率下的直接力与气动力间的过载分配策略，然后设计了滑模控制器以实现对导弹的控制。但是该方法忽略了轨控发动机对弹体姿态的影响，也忽略了轨控发动机喷流的巨大影响。董朝阳等人将气动力子系统与直接力子系统分开设计，采用自适应滑模方法控制气动力子系统，同时采用模糊推理控制直接力子系统以辅助提高气动力子系统的性能。但是这种方法不加区分地抑制喷流干扰和结构扰动等因素，浪费了控制资源。

随着强化学习的发展，相关领域学者开始将这一方法引入到飞行器自动驾驶仪设计领域。池海红等人采用强化学习设计了一种可应用于高速飞行器的高度控制算法。仿真结果表明，所提出的方法对具有模型不确定性的被控对象具有很好的控制效果。刘俊杰等人采用强化学习进行了PID参数的在线闭环快速自适应整定，实现了对非线性系统最优目标函数的逼近和对PID控制参数的拟合。柳絮润等人采用强化学习在线调整自动驾驶仪的PID参数，实现了对过载指令的跟踪。相比于传统的PID参数设计方案，该方案对模型参数的变化不敏感，也避免了选取特征点时的人为因素，具有一定的工程应用参考价值。

总体而言，在现有关于直/气复合控制的研究工作中，人们更倾向于忽略不同执行机构间的强耦合关系以及喷流干扰带来的不确定性影响，将直接力子系统和气动力子系统直接分开设计，并通过设计具有强鲁棒性的控制方法将耦合干扰因素加以抑制。需要注意的是，这些耦合干扰影响与多维执行机构本身密切相关，单纯的将直接力子系统和气动力子系统拼接起来并不能实现对这些执行机构的有效协调控制。同时，人们也常常只考虑使用一种直接力机构，而非同时引入针对飞行器力与力矩控制的轨控直接力机构和姿控直接力机构。

在现有的强化学习控制器设计中，常常将强化学习的应用局限在飞行器控制系统PID参数的选择与调整方面；同时执行机构也仅考虑空气舵，而忽略了直接力机构。相比于单一的气动力控制系统，具有多输入多维异构特性的直/气复合控制系统还需要考虑不同子系统间的耦合特性、不同执行机构间的协调问题以及环境的不确定性。

发明内容

为了实现直/气复合飞行器的有效控制，有效结合直接力系统和气动力系统的优势，有效消除乃至利用包括侧喷干扰在内的诸多耦合和干扰的影响，完成多射流条件下的直/气复合控制器的设计，本发明提出了一种基于DDPG的直/气复合飞行器控制系统的设计方法。

为了实现上述目的，本发明提供如下技术方案：

一种基于DDPG的直/气复合飞行器控制系统的设计方法，包括以下步骤：

根据定流量轨控发动机阀门开度与轨控直接力推力大小的映射关系，计算轨控发动机推力输出对轨控发动机阀门开度指令的导数；