[发明专利]一种基于强化学习的失效航天器姿态调整方法

说明书

本发明公开了一种基于强化学习的失效航天器姿态快速调整方法，包括：步骤S1、基于航天器姿态末端约束，建立失效航天器姿态数学模型与约束模型；步骤S2、基于强化学习算法中的Long‑term性能指标函数，建立评判标准和Critic网络；步骤S3、基于Backstepping控制框架结合Action网络和所述Critic网络，建立自适应控制方法，以控制失效航天器进入末端约束域。本发明实现失效航天器在姿态运动演化前的快速姿态调整，进入预定点火机动指向。

技术领域

本发明涉及控制系统的强化学习控制技术领域，特别涉及一种基于强化学习的失效航天器姿态快速调整方法。

背景技术

自1957年第1颗人造航天器升空以来，航天器应用与人类社会的发展愈加紧密，但随着进入外层空间物体数量的不断增加，空间碎片环境问题也越发突出。而失效航天器是近地轨道空间碎片的重要产生来源，航天器失效后将长期滞留太空占用轨道资源，并极有可能引发大量碎片产生，造成严重事故，甚至导致链式反应，给空间高价值航天器和正常的航天器活动带来极为不利的影响。因此，迫切需要发展能够实现失效航天器全自主高可靠快速机动控制技术。

而目前在研的离轨帆、电动力绳、太阳帆、电推进等形式，其推力级别均在毫牛级别，机动性能差，轨道脱离时间长，当航天器质量较大或轨道较高时，其离轨时间较长，无法满足失效航天器快速处理要求。而固体推进系统可以在短时间内产生极大的总冲量，实现快速点火机动，且易于进行自主性功能模块扩展，在姿态失稳条件下通过全自主系统的高可靠自主机动决策，摆脱对航天器平台姿控能力的依赖，可实现机动过程的全自主性，是航天器全自主高可靠快速机动系统的理想选择。

发明内容

本发明针对失效航天器在姿态运动演化前的快速姿态机动控制，提供一种基于强化学习的失效航天器姿态快速调整方法，克服了系统中存在的转动惯量等不确定性和外部扰动影响，确保系统高可靠快速进入末端姿态控制区域。

为了实现以上目的，本发明通过以下技术方案实现：

一种基于强化学习的失效航天器姿态快速调整方法，包括：步骤S1、基于航天器姿态末端约束，建立失效航天器姿态数学模型与约束模型。步骤S2、基于强化学习算法中的Long-term性能指标函数，建立评判标准和Critic网络。步骤S3、基于Backstepping控制框架结合Action网络和所述Critic网络，建立自适应控制方法，以控制失效航天器进入末端约束域。

可选地，所述步骤S1包括：所述失效航天器姿态数学模型为失效航天器姿态动力学与运动学模型，其计算公式如下：

其中，q＝col(q_v,q₄)为基于四元数的航天器状态描述，q_v＝[q₁,q₂,q₃]^T，下标v表示四元数矢量部分，q₁～q₄分别表示航天器姿态四元数的四个分量；ω＝[ω_x,ω_y,ω_z]^T表示航天器本体系B相对惯性系I的旋转角速度，ω_x,ω_y,ω_z分别为航天器x,y,z轴的角速度，J表示航天器正定对称的转动惯量矩阵；τ,T_d分别为控制力矩、航天器受到的外部扰动及系统建模误差；I_n表示n维的单位矩阵，n＝3。

可选地，所述失效航天器的约束模型包括：

所述失效航天器末端约束根据所述失效航天器的推力器的安装布局和推力矢量，选择如下：

-q_m≤q₂≤q_m