[发明专利]基于动态奖励的强化学习深空探测器自主任务规划方法及系统

权利要求书

1.一种基于动态奖励的强化学习深空探测器自主任务规划方法，其特征在于：包括：

S1、定义深空探测器任务规划强化学习参数；

S2、构建智能体交互环境；

S3、构建策略网络；

S4、训练策略网络；

S5、利用训练好的策略网络执行任务规划。

2.根据权利要求1所述的基于动态奖励的强化学习深空探测器自主任务规划方法，其特征在于：所述定义深空探测器任务规划强化学习参数，包括：

定义1、任务；任务用公式(1)表示：

F＝{I_F,N_F,E_FL,E_FP,t_FES,t_FLE} (1)

式中：F代表深空探测器可执行的科学任务；I_F代表任务F的编号；N_F代表任务F的名称；E_FL代表任务F的任务价值；E_FP代表任务F的优先级；t_FES代表任务F最早开始时间；t_FLE代表任务F最晚开始时间；

定义2、资源集；资源集表示深空探测器在执行动作的时候会用到的资源所组成的集合；用R表示，如公式(2)表示：

R＝{r₁,r₂,...,r_i,...,r_|R|} (2)

式中：r_i表示第i种资源；|R|表示集合R的元素个数，即表示资源的种类数量；代表第i种资源的编号；代表第i种资源的名字；代表第i种资源的剩余量；代表该第i种资源的类型，即该资源为可再生资源还是为不可再生资源；

定义3、深空探测器状态集；用S来表示深空探测器的状态集，假设探测器一共有N个子系统；第j个子系统的状态集用S_j表示，其状态有|S_j|种；S_j表示为式(4)，S可表示为式(5)，具体为：

S＝S₁∪S₂∪...S_j...∪S_N (5)

式中：s_jk表示第j个子系统的第k个状态；|S_j|表示集合S_j的元素个数，即第j个子系统的状态个数；S_j表示第j个子系统的状态集；

定义4、可执行动作；可执动作即为深空探测器可以执行的动作；用a_jh表示，代表第j个子系统的第h个可执行动作，如公式(6)所示：

式中：代表动作a_jh的编号；代动作a_jh动持续时长；代表动作a_jh消耗的资源集合；R代表深空探测器的资源集，是R的子集；

定义5、深空探测器可执行动作集；用A来表示深空探测器可执行动作集；第j个子系统的可执行动作集用A_j表示，其种类有|A_j|种；A_j表示为式(8)，A表示为式(9)：

A＝A₁∪A₂∪...A_j...∪A_N (9)

式中：|A_j|表示集合的元素个数，即第j个子系统的可执行动作数；A_j表示第j个子系统的可执行动作集；

定义6、深空探测器状态转换集；

构建三元组为G＝(S,A,S)；其中，G表示深空探测器状态与动作的状态转换集合，S表示深空探测器状态集，该集合中有|S|种状态；A表示深空探测器可执行动作集，该集合有|A|种可执行动作；三元组的基本形式是(s_jk,a_jh,s_jk+1)，其中s_jk表示第j个子系统的第k个状态，s_jk+1表示第j个子系统执行了动作a_jh后到达的第k+1个状态；三元组G中的第一个元素s_jk来自S，第二个元素a_jh来自A，第三个元素s_jk+1来自S。