[发明专利]一种基于强化学习的水空两栖无人航行器路径规划方法

说明书

本发明公开了一种基于强化学习的水空两栖无人航行器路径规划方法。步骤是：S1、选取两栖无人航行器执行路径规划任务的区域S，根据区域S，提取电子海图中对应区域S的数据进行三维环境建模；S2、构建两栖无人航行器路径规划的马尔可夫决策过程(MDP)；S3、给定起始点和目标点，根据两栖无人航行器路径规划的MDP，基于深度Q网络(DQN)算法根据两栖无人航行器的不同工作场景完成全局路径规划。本发明较现有的针对两栖无人航行器路径规划的环境建模方法的规划范围提高到了几十公里，并有效的考虑两栖无人航行器的运动特性，结合DQN算法，可以更加快速有效的找到一条符合其工作场景的最优路径。

技术领域

本发明属于自主路径规划技术领域，具体地说，是涉及一种面向水空两栖无人航行器的智能路径规划方法。

背景技术

水空两栖无人航行器具有水上航行和空中飞行功能，较普通无人艇具有快速到达任务点、搜索视野广的优点。可以有效的解决常规的水上搜索救援方法依靠救援人员驾驶巡逻艇前往事发地点存在着救援时间慢、成本高、频次低的弊端。路径规划是实现两栖无人航行器自主化的关键技术之一。路径规划模块性能的高低直接关系着两栖无人航行器行进路径选择的优劣和行进的流畅度，也关系着两栖无人航行器在执行任务期间是否能满足能耗最小、速度最快等指标。

发明专利CN109871022A，介绍了一种水空两栖无人航行器的智能路径规划和局部避障方法，通过实时获取两栖无人航行器的工作环境信息，建立三维栅格地图，使用改进的A*算法进行路径规划。发明专利CN112698646A，介绍了一种基于强化学习的航行器路径规划方法，通过接入电子海图中的障碍物信息，构建虚拟力场，设定虚拟力场奖励函数进行路径规划。

现有的针对两栖无人航行器的路径规划方法，通过实时构建三维栅格地图只能运用于两栖无人航行器周围数十米内小范围的局部路径规划，然而两栖无人航行器工作半径可以达到数十公里，该方法无法解决这种大范围地图的路径规划任务。且传统的路径规划搜索方法(A *)无法去利用两栖无人航行器跨维度运动的特性去寻找路径规划的最优解。现有的通过强化学习针对两栖无人航行器的路径规划方法，通常是自建栅格环境模型来进行规划，该方法具有算法搜索空间大，不同于真实环境无法应用于实际的规划任务中；通过电子海图这类实际的环境地图来建环境模型的路径规划任务，未对电子海图数字化建模，影响基于强化学习的路径规划算法的训练效率。

发明内容

发明目的：为了克服现有针对两栖无人航行器路径规划方法无法应对适合其大范围工作半径的路径规划任务，无法有效的考虑利用两栖无人航行器的运动特性寻找路径规划的最优解，以及利用电子海图去做路径规划未对电子海图进行数字化建模影响强化学习算法的训练效率的不足。本发明提供了一种基于强化学习的水空两栖无人航行器路径规划方法。

该方法通过对S-57格式电子海图的数据进行提取，结合实际的数字高程数据，建立了基于电子海图的两栖无人航行器路径规划的环境模型。根据航行器与障碍物相撞的风险以及其他一些规则，建立了奖励函数。随后，采用深度Q网络(DQN)算法原理进行重复训练。经过充分的训练，建立了路径规划的人工智能，可以依据航行器不同的工作场景找到一条有意义的、合理的路径。

技术方案：为了实现上述目的，本发明采用的具体技术方案如下：

一种基于强化的水空两栖无人航行器路径规划方法，包括如下步骤：

S1、选取两栖无人航行器执行路径规划任务的区域S，根据区域S，提取电子海图中对应区域S的数据进行三维环境建模；

S2、构建两栖无人航行器路径规划的马尔可夫决策过程(MDP)；

S3、给定起始点和目标点，根据两栖无人航行器路径规划的MDP,基于深度Q网络(DQN) 算法根据两栖无人航行器的不同工作场景完成全局路径规划；

本发明进一步改进，所述S1步骤具体包括：