[发明专利]基于深度强化学习的无人机导航方法、装置、设备及介质

说明书

本发明公开基于深度强化学习的无人机导航方法、装置、设备及介质。该方法包括如下步骤：实时获取无人机与环境的交互信息；将所述交互信息输入深度强化学习模型中，输出无人机最优动作，生成动作对应的操作指令；基于操作指令运行改变无人机的运动状态后获取环境给出的反馈信息；基于反馈信息采用随机梯度下降法以及损失函数来更新深度强化学习模型的参数，采用更新了网络参数的深度强化学习模型，继续获得最优动作。本发明可在高速动态环境下，自主规划路径，沿着无碰撞、高效的路径到达理想的目的地，同时实现空中无人机的无处不在的三维通信覆盖，保证无人机与地面站的通信质量，实现实时的数据传输。

技术领域

本发明涉及无人机导航技术领域，尤其涉及基于深度强化学习的无人机导航方法、装置、设备及介质。

背景技术

近年来，无人驾驶飞行器(UAV)已经在许多领域展示出其广阔的应用前景，越来越多地被运用于环境监测和探索例如灾难救援、野生动物保护和远程监视的任务中，特别是在无线通信，智能物流，现代战争等领域，无人机因其广阔的视野，高度的灵活性发挥着不可替代的作用而备受关注。

在对于无人机研究中，其自主路径规划的实现一直是一大难题。因其对于多状态动作对高维诅咒的有效处理，采用基于深度强化学习的方法对于该问题的解决早已不鲜见。然而许多研究聚焦于无人机在已知静态场景中或是室内环境的导航，这样的研究开发的算法在实际环境中的迁移应用表现大多不佳，因为实际环境中不可避免地存在着如飞鸟，其他飞行器等障碍物，所以我们研究的一大目标就是解决动态环境的无人机路径规划。另一大问题在于，由于基础设施和运营成本等原因当前对于如何实现无人机的无处不在的三维(3D)通信覆盖的技术很不成熟，但是这对于数据传输又至关重要，另一方面，未来无人机的应用场景中，复杂多变的干扰总是充斥其间。因而，对于无人机的覆盖感知导航的研究就显得迫在眉睫。

发明内容

为了解决上述技术问题，本发明提出基于深度强化学习的无人机导航方法、装置、设备及介质，确保无人机可在高速动态环境下，自主规划路径，沿着无碰撞、高效的路径到达理想的目的地，同时实现空中无人机的无处不在的三维通信覆盖，保证无人机与地面站的通信质量，实现实时的数据传输。

为了达到上述目的，本发明的技术方案如下：

基于深度强化学习的无人机导航方法，其特征在于，包括如下步骤：

步骤S1，实时获取无人机与环境的交互信息，所述交互信息包括与障碍物的距离、与目的地的方向距离和通信质量信息；

步骤S2，将所述交互信息输入深度强化学习模型中，输出无人机最优动作来引导无人机避免碰撞、获取目标、来到覆盖通信质量良好的区域；

步骤S3，生成最优动作对应的操作指令，并基于操作指令运行改变无人机的运动状态后获取环境给出的反馈信息，所述反馈信息包括状态、动作、奖励以及下一个状态的序列；

步骤S4，基于反馈信息采用随机梯度下降法以及损失函数来更新深度强化学习模型的参数，采用更新了网络参数的深度强化学习模型，重复步骤S1至S3，直至到达目的地。

优选地，所述深度学习模型包括用于指示无人机在导航任务中避开障碍物的避障网络，用于指示无人机在导航任务中使用最短航路点获取目标的目的地获取网络，以及将所述避障网络和目的地获取网络连接的综合网络，所述综合网络用于从避免网络或目的地获取网络中选择一个动作并保证飞行时的实时通信。

优选地，所述避障网络、目的地获取网络和综合网络均采用长短期记忆网络。

优选地，所述避障网络和目的地获取网络均由结构相同的评估网络与目标网络组成的。

优选地，所述避障网络的奖励r_avoid为：

其中α,β是常数,d_min为最短距离。