[发明专利]面向移动平台基于专家经验的DDPG无人机降落方法

权利要求书

1.面向移动平台基于专家经验的DDPG无人机降落方法，其特征在于，包括以下步骤：

步骤1、构建无人机移动平台降落的马尔科夫模型；

步骤2、构建DDPG算法中的神经网络；

步骤3、无人机和目标状态更新；

步骤4、在仿真模拟器中构建无人机着陆场景，使用基于专家经验的确定性策略梯度方法训练无人机面向移动平台进行降落。

2.根据权利要求1所述的面向移动平台基于专家经验的DDPG无人机降落方法，其特征在于，马尔科夫模型为(S,A,O,R,γ)，其中S为神经网络的输入状态，A为无人机的输出动作，O为无人机传感器的观测空间，R为奖励函数，γ为折扣因子。

3.根据权利要求1所述的面向移动平台基于专家经验的DDPG无人机降落方法，其特征在于，步骤1-1、定义马尔科夫模型的状态空间，输入状态S：

结合无人机状态和移动平台状态，设定输入状态为：

S＝[S_uav，S_platform]

其中无人机状态x^uav、y^uav、z^uav表示无人机在三维平面上的位置，为无人机沿X、Y、Z轴的速度分量；

移动平台状态：S_platform＝[x^platform，y^platform，z^platform]，x^platform、y^platform、z^platform表示无人机在三维平面上的位置；

步骤1-2、定义马尔科夫模型的动作空间，即无人机的输出动作A：

输出动作A表示无人机接收到外界反馈信号，即无人机离移动目标的远近，针对自身状态所采集的动作集；设定输出动作为：

其中，为无人机沿X、Y、Z轴的速度分量，结合实际应用对无人机的速度进行约束：其中分别代表无人机的最小、最大速度；

步骤1-3、定义马尔科夫模型的观测空间，即传感器的观测空间O：

利用雷达传感器对无人机和目标的位置进行判断和获取；设定观测空间为：

O＝[D]

其中，无人机与目标的之间的相对距离D为：

步骤1-4、定义奖励函数R:

利用传感器获取无人机与移动平台的位置信息，通过对无人机进行距离奖惩、碰撞奖惩和时间奖惩，综合得到奖励函数R，表示无人机在当前状态下选取某一动作时所获得的反馈值：综合无人机距离奖励和避碰奖励，得到奖励函数R为：

其中，λ₄、λ₅分别表示距离奖励避碰奖励的权重系数；

步骤1-5、定义折扣因子γ：

设定折扣因子0γ1，用于计算整个过程中的回报累计值；当γ值越大，表示越注重长期收益。

4.根据权利要求3所述的面向移动平台基于专家经验的DDPG无人机降落方法，其特征在于，距离奖励函数为：

其中为距离奖励函数，λ₁、λ₂为两项奖励的权重值；D_t代表无人机与移动平台当前t时刻之间的欧式距离；L为设置的常数值；若D_t≥L，则给予一个与距离D_t成正比的负惩罚奖励；若D_tL，则在正常数c₁的基础上，再给予一个与距离D_t成反比的正奖励；

避碰奖励为：

其中D_t是无人机与移动平台当前t时刻之间的欧式距离，当不发生碰撞时碰撞惩罚奖励为0，如果无人机发生碰撞，在给予c₂常数的负惩罚基础上，再给予与移动平台距离成正比的负惩罚奖励，λ₃为碰撞系数常数。