[发明专利]基于深度强化学习的多无人机基站协同覆盖路径规划方法

说明书

本发明公开了一种基于深度强化学习的多无人机基站协同覆盖路径规划方法，步骤包括：首先定义了基于深度强化学习的马尔可夫模型，对马尔科夫决策过程五元组进行建模；然后根据建模提出深度确定性策略梯度DDPG算法；接着对DDPG算法的经验缓存池进行改进，通过对经验缓存池所存储的经验数据进行分类，将获取的经验数据放入不同的经验缓存池中，改进的DDPG算法能解决收敛不稳定的问题；最后设计仿真环境，无人机群与环境进行交互，获取训练数据。通过这种方法，实现无人机群在多个约束条件的限制下对地面节点进行协同覆盖的目标任务，该方法能使无人机群有更高的规划效率和更低的飞行成本。

技术领域

本发明提出一种基于深度强化学习的多无人机基站协同覆盖路径规划方法，属于计算机人工智能领域。

背景技术

无人机具有机动性高、部署灵活、成本低的优势，已广泛应用于地形覆盖、农业生产、环境侦察、空中救援、灾害预警等行业。无人机可以作为空中基站，增强各种场景下通信网络的覆盖范围和性能。当地面通信网络出现意外而中断时，可以快速部署无人机，无人机将与地面建立通信链路以传输数据，同时实现与地面网络的协同交互。覆盖路径规划算法是支撑无人机成功应用于上述复杂场景的一项重要技术。

在规划无人机覆盖地面节点路径的过程中，需要考虑无人机的能量约束条件，同时无人机在执行任务的过程中需要保证与地面基站的信号传输，但信号传输会产生损耗影响覆盖的服务质量。另一方面，单个无人机由于能量和通信的约束，难以大规模应用于地面覆盖任务，多无人机协同飞行是实现大规模覆盖任务的有效方案，这需要无人机之间时刻保持通信连通。因此无人机群在能耗受限、通信连通距离受限、信号传输会产生损耗的约束条件下，如何高效实现对地面节点的协同覆盖是一个极具挑战的理论与应用问题。

发明内容

为解决在多种约束条件下，如何实现对地面进行高效协同覆盖的问题，本发明提出一种基于深度强化学习的多无人机基站协同覆盖路径规划方法，具体包括以下步骤：

步骤一、定义马尔可夫模型:对马尔科夫决策过程五元组(S,A,P,R,γ)进行建模；

步骤二、以步骤一建模得到的马尔科夫决策过程五元组(S,A,P,R,γ)为基础，设计使用基础深度强化学习的深度确定性策略梯度(DDPG)算法；

步骤三、对DDPG算法的经验缓存池进行改进，通过对经验缓存池所存储的经验数据进行分类，将获取的经验数据放入不同的经验缓存池中。

步骤四、设计仿真环境，无人机群与环境进行交互，获取训练数据，采样训练数据进行仿真训练，实现对目标地面节点的协同覆盖路径规划。

步骤一的具体步骤包括：

步骤1.1、确定无人机的所处状态S:

整个目标区域被划分成I×J个单元格，区域内随机分布有m个位置固定的地面节点和n架飞行于固定高度H的无人机，无人机i在t时刻的坐标表示为第u个地面节点的位置坐标表示为q_u＝(x_u,y_u)。一架无人机的固定总能量为e_max，无人机移动一个单位的能耗为e₁，悬停覆盖一个地面节点的能耗为e₂，e₁、e₂均为常数，无人机必须在能量耗尽之前完成任务。因此无人机i从初始位置飞行到在t时刻位置时的能耗为：

其中，为无人机i在t时刻已覆盖地面节点的数量；

每架无人机的通信半径固定为R_s，由于通信连通性的限制，无人机i必须始终保持和自己最近的无人机j在通信半径范围之内，有公式：

min(||p_i-p_j||,i≠j)＜＝R_s