[发明专利]一种基于深度强化学习的能量约束下多机探索方法及系统

说明书

一种基于深度强化学习的能量约束下多机探索方法及系统，包括：基于预先构建的无人机的数学模型获取当前视图；对当前视图进行预处理后输入到CNN中进行特征提取，得到提取的特征；将提取的特征输入预先训练好的DDQN强化学习算法，得到无人机的动作；通过安全控制器判断无人机的动作是否可执行，确定无人机的动作；其中，无人机的数学模型是以最大化全局的探索效率为目标函数结合无人机运行约束、状态空间和奖励函数构建得到的；DDQN强化学习算法是采用目标网络和经历回放方法训练得到的；本发明提供了一种惩罚函数，能够使探索系统在保证较高探索效率的同时让系统获得较高的返航率，即无人机能够在完成探索任务的同时在能量耗尽前返回起飞降落区。

技术领域

本发明涉及多机器人协作系统领域，具体涉及一种基于深度强化学习的能量约束下多机探索方法及系统。

背景技术

随着人工智能和自动化技术的发展，自主机器人广泛应用于被人类视为危险复杂的物理环境中。例如，在森林火灾的情况下，自主机器人可以搜索受难者，然后通过可靠地通信发送受害者的位置来协助营救；在真空环境中，自主机器人可以在火星等领域进行探索并且收集数据。这些应用推动了自主机器人环境探索任务的发展。环境探索任务需要部署单个机器人或机器人系统，以穿越未知环境。它是机器人许多任务的重要组成部分，如行星探测、侦察、救援、割草和清洁。在上述复杂的场景中，无人机以其小巧、敏捷、灵活的特点，备受学术界和工业界的关注。

环境探索任务是通过传感器对未知环境产生认知的过程，考虑效率、避障等因素。此类任务场景多是危险、恶劣、不适合人工执行的环境。在这样复杂的场景中，单个智能体受到电量限制导致效率较低，还存在单点失效的问题，即在单智能体故障的情况导致任务失败。而多智能体系统以高任务效率、高鲁棒性、高容错性等优势渐渐受到了更多的关注。然而，尽管已经研究了几十年，作为一个NP难问题，多智能体环境探索任务仍然是一项艰巨的任务。与单智能体环境探索相比，多智能体环境探索的主要难点在于如何在探索过程中实现高效的协作。例如，如果太多的智能体聚集在同一个区域，而很少有智能体探索其他区域，则总体效率较低。相比之下，良好的环境探索策略可以将智能体划分到不同的区域，以提高每个智能体的探索效率并减少智能体团队成员之间的干扰。

目前，针对自主探索的研究可大致分为两类：经典的环境探索方法和基于深度强化学习的环境探索方法。经典的环境探索方法以边界探索及其变体为代表，但这些方法严重依赖于专家针对不同场景手工设计的启发式函数。深度强化学习方法可以使智能体通过与环境反复的交互学习复杂的探索策略，从而提高其决策能力。然而目前的基于深度强化学习的环境探索策略仅仅关注探索效率，并没有考虑能量的约束。由于无人机的电池容量有限，因此考虑能量约束对现实世界中的任务来说是必要的。

在实际探索任务中，考虑能量约束意味着无人机需要在能量耗尽之前返回降落区，这会给多智能体探索任务带来巨大挑战。第一个挑战是需要设计有效的奖励函数保证多智能体系统满足能量约束。国际智能机器人与系统会议(IROS)上Theile M等人发表的文章《UAV coverage path planning under varying power constraints using deepreinforcement learning》(《基于深度强化学习的可变能量约束下无人机覆盖路径规划》)中考虑了能量约束，在无人机能量耗尽时给智能体一个常量值惩罚，但是常量值奖励函数难以使无人机倾向于返回降落区。第二个挑战是满足能量约束和提高探索率是冲突的，获得两者之间的平衡需要设计良好的方案，因此多智能体系统需要设计合理的方法提高探索效率。第三个挑战是需要保证多机器人探索系统在不同地图上的性能的稳定。

发明内容

为了解决现有技术中如何保证无人机在探索效率的同时能够在能量耗尽之前返回降落区的问题，本发明提出了一种基于深度强化学习的能量约束下多机探索方法，包括：

基于预先构建的无人机的数学模型获取当前视图；

对所述当前视图进行预处理后输入到CNN中进行特征提取，得到提取的特征；