[发明专利]基于动态奖励的强化学习深空探测器自主任务规划方法及系统在审
申请号: | 202111536074.3 | 申请日: | 2021-12-15 |
公开(公告)号: | CN115018231A | 公开(公告)日: | 2022-09-06 |
发明(设计)人: | 王彬;毛维杨;柳景兴 | 申请(专利权)人: | 昆明理工大学 |
主分类号: | G06Q10/06 | 分类号: | G06Q10/06;G06N3/08;G06N3/04 |
代理公司: | 昆明人从众知识产权代理有限公司 53204 | 代理人: | 陈波 |
地址: | 650093 云*** | 国省代码: | 云南;53 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 动态 奖励 强化 学习 探测器 自主 任务 规划 方法 系统 | ||
本发明公开了一种基于动态奖励的强化学习深空探测器自主任务规划方法及系统,方法包括定义深空探测器任务规划强化学习参数;构建智能体交互环境;构建策略网络;训练策略网络;利用训练好的策略网络执行任务规划。本发明把深空探测任务规划中的时间约束、资源约束和时序约束融合在深空探测器任务规划强化学习模型的训练过程中,可保证深空探测器任务规划过程中满足多种约束,增强了深空探测器智能体对复杂环境的适应性,同时动态奖励算法将资源约束、时间约束和时序约束融合在一起构建了即时奖励模型,并据此定义损失函数更新策略梯度,在保证多约束条件的前提下加快了深空探测器自主任务规划强化学习模型的收敛速度,减小了偏差,提高了自主任务规划质量。
技术领域
本发明涉及一种基于动态奖励的强化学习深空探测器自主任务规划方法,属于航空航天技术领域。
背景技术
深空探测领域是现今世界重要技术发展领域之一,深空探测由于其探测对象的可知特征不完备性和环境的复杂性,使得附着任务难度很大,为了顺利地完成科学探索任务,需要深空探测器具备较高自主性,能够在复杂未知的环境中自主任务规划。
深空探测器在附着过程中,需要具备对各种任务进行规划的能力,根据各种外界环境、自身系统的状态以及各种约束条件,规划出一组可执行的动作序列。
在以往的探测器规划研究中,有学者提出包含平台和载荷任务管理的两阶段航天器自主任务规划算法,实现了平载一体的航天器自主任务管理,其能够根据高级任务目标输出完整的指令序列。
传统的很多针对深空探测领域的规划问题过于被动,探测器的自主性不够高,面对突发情况,不能够较好的应对。
发明内容
本发明提供了一种基于动态奖励的强化学习深空探测器自主任务规划方法,以用于解决深空探测器在执行深空探测任务时的任务规划问题。
本发明的技术方案是:一种基于动态奖励的强化学习深空探测器自主任务规划方法,包括:
S1、定义深空探测器任务规划强化学习参数;
S2、构建智能体交互环境;
S3、构建策略网络;
S4、训练策略网络;
S5、利用训练好的策略网络执行任务规划。
所述定义深空探测器任务规划强化学习参数,包括:
定义1、任务;任务用公式(1)表示:
F={IF,NF,EFL,EFP,tFES,tFLE} (1)
式中:F代表深空探测器可执行的科学任务;IF代表任务F的编号;NF代表任务F的名称;EFL代表任务F的任务价值;EFP代表任务F的优先级;tFES代表任务F最早开始时间;tFLE代表任务F最晚开始时间;
定义2、资源集;资源集表示深空探测器在执行动作的时候会用到的资源所组成的集合;用R表示,如公式(2)表示:
R={r1,r2,...,ri,...,r|R|} (2)
式中:ri表示第i种资源;|R|表示集合R的元素个数,即表示资源的种类数量;代表第i种资源的编号;代表第i种资源的名字;代表第i种资源的剩余量;代表该第i种资源的类型,即该资源为可再生资源还是为不可再生资源;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于昆明理工大学,未经昆明理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111536074.3/2.html,转载请声明来源钻瓜专利网。
- 同类专利
- 专利分类
G06Q 专门适用于行政、商业、金融、管理、监督或预测目的的数据处理系统或方法;其他类目不包含的专门适用于行政、商业、金融、管理、监督或预测目的的处理系统或方法
G06Q10-00 行政;管理
G06Q10-02 .预定,例如用于门票、服务或事件的
G06Q10-04 .预测或优化,例如线性规划、“旅行商问题”或“下料问题”
G06Q10-06 .资源、工作流、人员或项目管理,例如组织、规划、调度或分配时间、人员或机器资源;企业规划;组织模型
G06Q10-08 .物流,例如仓储、装货、配送或运输;存货或库存管理,例如订货、采购或平衡订单
G06Q10-10 .办公自动化,例如电子邮件或群件的计算机辅助管理