[发明专利]卫星南北保持策略模型的建模方法、系统、获取方法

权利要求书

1.一种基于Nature DQN的卫星南北保持策略模型的建模方法，其特征在于，包括以下步骤：

S1：初始化模型，获取多组卫星训练状态数据组，每组卫星训练状态数据组包括卫星的初始状态、多个预期轨控时刻和预期轨控次数；每个卫星的初始状态包括初始时刻卫星倾角；

S2：向模型中输入一组卫星训练状态数据组的初始时刻卫星倾角，得到初始时刻之后所有倾角控制行为及所对应输出的Q值，所述Q值为卫星执行倾角控制行为后的回报值；

S3：获取当前时刻卫星倾角，根据贪心策略获得卫星执行的倾角控制行为；

S4：执行倾角控制行为，得到下一时刻卫星倾角；根据下一时刻卫星倾角、南北保持策略奖励函数得到奖励；所述南北保持策略奖励函数采用公式(1)：

其中，r_t为当前时刻卫星进行倾角控制行为所获得的奖励，Δs_t为当前时刻的下一时刻倾角差，Δs_t＝s_t+1-s₀，s₀为标称轨道的倾角，s_t+1为当前时刻的下一时刻卫星倾角；当前时刻的下一时刻卫星倾角差为|s_t+1-s₀|；t为当前时刻，t₀为与当前时刻距离最近的预期轨控时刻；

S5：将当前时刻卫星倾角、卫星执行的倾角控制行为、奖励和下一时刻卫星倾角作为一组卫星组合状态数据组存入经验池中；

S6：从经验池中取出多组卫星组合状态数据组，根据目标神经网络权值参数计算每个卫星组合状态数据组的目标值；

S7：根据损失函数计算误差，并更新当前神经网络权值参数；

S8：根据值函数更新Q值；将下一时刻卫星倾角作为当前时刻卫星倾角；

S9：重复执行步骤S3-S8，执行步骤S3-S8的次数等于该组卫星训练状态数据组的预期轨控次数；每重复执行指定迭代次数的步骤S3-S8后，根据当前神经网络权值参数更新目标神经网络权值参数；

S10：重复执行步骤S2-S9，直到输入完所有卫星训练状态数据组的数据。

2.根据权利要求1所述的基于NatureDQN的卫星南北保持策略模型的建模方法，其特征在于，步骤S1中，卫星倾角为卫星在轨道上的二维倾角，该二维倾角根据卫星轨道倾角和升交点赤经获得；

s＝(i_x，i_y)；

其中，s表示卫星在轨道上的二维倾角，i表示卫星轨道倾角，Ω表示升交点赤经。

3.根据权利要求1所述的基于Nature DQN的卫星南北保持策略模型的建模方法，其特征在于，步骤S3中，所述根据贪心策略获得卫星执行的倾角控制行为的方法包括：卫星以第一指定概率随机选择倾角控制行为、或以第二指定概率执行最大Q值所对应的倾角控制行为；第一指定概率和第二指定概率之和等于1。

4.根据权利要求1所述的基于Nature DQN的卫星南北保持策略模型的建模方法，其特征在于，步骤S6中，所述根据目标神经网络权值参数计算每个卫星组合状态数据组的目标值的方法采用公式(2)：

其中，y_j表示目标值，γ为折扣值，θ′为目标神经网络权值参数，表示一组卫星组合状态数据组中的下一时刻卫星执行倾角控制行为a后的最大Q值，s_j+1表示一组卫星组合状态数据组中的下一时刻卫星倾角，a表示一组卫星组合状态数据组中的当前时刻卫星执行的倾角控制行为，r_j表示一组卫星组合状态数据组中的奖励。