[发明专利]面向移动平台基于专家经验的DDPG无人机降落方法

说明书

本发明公开的面向移动平台基于专家经验的DDPG无人机降落方法，包括：对任务分解；在仿真环境中搭建降落场景；初始化环境状态；初始化算法神经网络等超参数；设计用于训练所设计的深度强化学习神经网络的无人机着陆的降落函数；基于搭建有无人机着陆场景的仿真环境，对所设计的深度强化学习神经网络进行训练，训练过程中采用专家经验进行指导无人机。本发明能够加快算法的收敛速度，极大的解决深度强化学习前期采样效率低下的问题。

技术领域

本发明属于无人机自主控制领域，涉及面向移动平台基于专家经验的DDPG无人机降落方法。

背景技术

随着科技的不断更新发展，旋翼无人机的应用的场景越来越广，涵盖的范围也越来越广，小至无人机送外卖、摄影等，大到无人机应用在测绘工程、安防、救援、地图勘测等。然而为了更进一步提升无人机完成任务的自主性，需要从多方面去考虑，比如无人机的起飞、导航、降落和在环境相对复杂的情况下完成自主降落等。但是在无人机发生的事故中，因无人机的起降发生的事故占比达到60％，因此对无人机的起降进行研究至关重要。此外，在多机器人协作中，如结合无人地面机器人(UGV)，无人机进行着陆补充燃油，这也为多旋翼无人机提供了长期任务中所需的更高的自主水平。

2019年，史豪斌等针对经典的PID控制与基于图像的视觉伺服控制在旋翼无人机追踪与控制过程中差、控制精度不高等问题，设计了一种基于强化学习的旋翼无人机追踪控制方法，通过基于图像的视觉伺服进行闭环控制并使用了Sarsa学习算法调节增益，通过无人机相机所传输的视觉信息所提取的特征点与目标图像的特征点进行验证，将无人机距离目标的位置远近作为学习的奖励，实验结果验证了该方法的可行性任务场景下。但是由于因Sarsa算法本身的局限性，其训练速度和训练效果都不够好。一种基于深度强化学习的无人机端到端的控制方法(CN111460650A)，将处理过的无人机机载相机得到的图像作为输入，经过深度强化学习神经网络处理后可以直接得到无人机控制指令，以此实现无人机的自主着陆，但是由于强化学习的前期随机探索导致其训练时间过长，效率较低。

发明内容

本发明要解決的技术问题就在于：针对现有技术存在的技术问题，基于上述的背景，本发明提出了面向移动平台基于专家经验的DDPG无人机降落方法。深度确定性策略梯度(DDPC)算法不仅利用了深度Q网络算法中经验池和双神经网络结构的优良性能,改善了传统强化学习数据爆炸等问題：还拥有策略梯度算法的优点，可以在有效处理连续域数据，并使神经网络快速收敛。此外，为了加速其训练过程，本发明改变其前期随机探索的行为，采用专家算法对其进行指导，在前期专家经验的指导下不断训练Actor策略网络，使得其掌握专家动作，这样能够大大节省训练时间和成本，提升网络、模型的收敛时间。因此，提出了面向移动平台基于专家经验的DDPG无人机降落方法，对于无人机在相关领域应用的实现具有重要意义，加快强化学习训练速度，提升训练效率，具有较高应用价值的面向移动平台基于专家经验的DDPG无人机降落方法。

本发明至少通过如下技术方案之一实现。

面向移动平台基于专家经验的DDPG无人机降落方法，包括以下步骤：

步骤1、构建无人机移动平台降落的马尔科夫模型；

步骤2、构建DDPG算法中的神经网络；

步骤3、无人机和目标状态更新；

步骤4、在仿真模拟器中构建无人机着陆场景，使用基于专家经验的确定性策略梯度方法训练无人机面向移动平台进行降落。

进一步地，马尔科夫模型为(S,A,O,R,γ)，其中S为神经网络的输入状态，A为无人机的输出动作，O为无人机传感器的观测空间，R为奖励函数，γ为折扣因子。

进一步地，步骤1-1、定义马尔科夫模型的状态空间，输入状态S：

结合无人机状态和移动平台状态，设定输入状态为：