[发明专利]基于动态奖励的强化学习深空探测器自主任务规划方法及系统在审

专利信息
申请号: 202111536074.3 申请日: 2021-12-15
公开(公告)号: CN115018231A 公开(公告)日: 2022-09-06
发明(设计)人: 王彬;毛维杨;柳景兴 申请(专利权)人: 昆明理工大学
主分类号: G06Q10/06 分类号: G06Q10/06;G06N3/08;G06N3/04
代理公司: 昆明人从众知识产权代理有限公司 53204 代理人: 陈波
地址: 650093 云*** 国省代码: 云南;53
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 动态 奖励 强化 学习 探测器 自主 任务 规划 方法 系统
【说明书】:

发明公开了一种基于动态奖励的强化学习深空探测器自主任务规划方法及系统,方法包括定义深空探测器任务规划强化学习参数;构建智能体交互环境;构建策略网络;训练策略网络;利用训练好的策略网络执行任务规划。本发明把深空探测任务规划中的时间约束、资源约束和时序约束融合在深空探测器任务规划强化学习模型的训练过程中,可保证深空探测器任务规划过程中满足多种约束,增强了深空探测器智能体对复杂环境的适应性,同时动态奖励算法将资源约束、时间约束和时序约束融合在一起构建了即时奖励模型,并据此定义损失函数更新策略梯度,在保证多约束条件的前提下加快了深空探测器自主任务规划强化学习模型的收敛速度,减小了偏差,提高了自主任务规划质量。

技术领域

本发明涉及一种基于动态奖励的强化学习深空探测器自主任务规划方法,属于航空航天技术领域。

背景技术

深空探测领域是现今世界重要技术发展领域之一,深空探测由于其探测对象的可知特征不完备性和环境的复杂性,使得附着任务难度很大,为了顺利地完成科学探索任务,需要深空探测器具备较高自主性,能够在复杂未知的环境中自主任务规划。

深空探测器在附着过程中,需要具备对各种任务进行规划的能力,根据各种外界环境、自身系统的状态以及各种约束条件,规划出一组可执行的动作序列。

在以往的探测器规划研究中,有学者提出包含平台和载荷任务管理的两阶段航天器自主任务规划算法,实现了平载一体的航天器自主任务管理,其能够根据高级任务目标输出完整的指令序列。

传统的很多针对深空探测领域的规划问题过于被动,探测器的自主性不够高,面对突发情况,不能够较好的应对。

发明内容

本发明提供了一种基于动态奖励的强化学习深空探测器自主任务规划方法,以用于解决深空探测器在执行深空探测任务时的任务规划问题。

本发明的技术方案是:一种基于动态奖励的强化学习深空探测器自主任务规划方法,包括:

S1、定义深空探测器任务规划强化学习参数;

S2、构建智能体交互环境;

S3、构建策略网络;

S4、训练策略网络;

S5、利用训练好的策略网络执行任务规划。

所述定义深空探测器任务规划强化学习参数,包括:

定义1、任务;任务用公式(1)表示:

F={IF,NF,EFL,EFP,tFES,tFLE} (1)

式中:F代表深空探测器可执行的科学任务;IF代表任务F的编号;NF代表任务F的名称;EFL代表任务F的任务价值;EFP代表任务F的优先级;tFES代表任务F最早开始时间;tFLE代表任务F最晚开始时间;

定义2、资源集;资源集表示深空探测器在执行动作的时候会用到的资源所组成的集合;用R表示,如公式(2)表示:

R={r1,r2,...,ri,...,r|R|} (2)

式中:ri表示第i种资源;|R|表示集合R的元素个数,即表示资源的种类数量;代表第i种资源的编号;代表第i种资源的名字;代表第i种资源的剩余量;代表该第i种资源的类型,即该资源为可再生资源还是为不可再生资源;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于昆明理工大学,未经昆明理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202111536074.3/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top