[发明专利]一种基于强化学习的旋翼无人机逃逸方法及系统

权利要求书

1.一种基于强化学习的旋翼无人机逃逸方法，其特征在于，包括：

S101获取旋翼无人机在无人机群围捕环境中的当前环境状态；所述当前环境状态包括所述旋翼无人机当前的位置信息和速度信息，以及多个追捕无人机当前的位置信息和速度信息；

S102将所述旋翼无人机的当前环境状态输入至动作决策模型，得到所述动作决策模型输出的所述旋翼无人机的当前动作；

S103控制所述旋翼无人机基于所述当前动作进行逃逸飞行；

其中，所述动作决策模型是基于旋翼无人机的样本环境状态，联合目标网络对主网络进行强化学习得到的；所述目标网络与所述主网络的网络结构相同。

2.根据权利要求1所述的旋翼无人机逃逸方法，其特征在于，所述动作决策模型具体基于如下步骤强化学习得到：

将所述样本环境状态输入至主网络中，采用ε-greedy策略从动作空间中选择动作，并在无人机群围捕环境中执行所述动作，获得所述无人机群围捕环境返回的奖励和下一环境状态；

基于所述样本环境状态、动作、奖励以及下一环境状态，通过最小化主网络输出的预测Q值与目标网络输出的目标Q值之差来更新主网络的权重参数，直至满足预设终止条件，且在更新过程中，每隔预设数量个时间步将主网络的权重参数赋值给目标网络；

将更新完成的主网络确定为所述动作决策模型。

3.根据权利要求2所述的旋翼无人机逃逸方法，其特征在于，所述旋翼无人机的动作空间包含无驱动状态、向前驱动、向后驱动、向左驱动、向右驱动、向上驱动和向下驱动；所述旋翼无人机的奖励函数包含相对位置变化奖励、相对速度变化奖励、逃脱任务完成奖励、围捕中心远离奖励和被包围情形奖励。

4.根据权利要求3所述的旋翼无人机逃逸方法，其特征在于，所述旋翼无人机的相对位置变化奖励具体为：

式中，ΔU_p(P_i)为在一个时间步前后，旋翼无人机在第i个追捕无人机产生的相对位置势场作用下的势能变化，n为追捕无人机的总数，所述相对位置势场定义为：

式中，η是值大于零的势场系数常量，ρ₀表示所述第i个追捕无人机的影响半径，ρ(p_E,p_P)是所述第i个追捕无人机与所述旋翼无人机的欧氏距离。

5.根据权利要求3所述的旋翼无人机逃逸方法，其特征在于，所述旋翼无人机的相对速度变化奖励具体为：

式中，ΔU_p(P_i)为在一个时间步前后，旋翼无人机在第i个追捕无人机产生的相对速度势场作用下的势能变化，所述相对速度势场定义为：

式中，μ是系数常量，v_re表示所述第i个追捕无人机与所述旋翼无人机的相对速度向量，θ_re表示所述旋翼无人机与所述第i个追捕无人机的距离向量和所述第i个追捕无人机与所述旋翼无人机的相对速度向量之间的夹角。

6.一种基于强化学习的旋翼无人机逃逸系统，其特征在于，包括：

状态获取模块，用于获取旋翼无人机在无人机群围捕环境中的当前环境状态；所述当前环境状态包括所述旋翼无人机当前的位置信息和速度信息，以及多个追捕无人机当前的位置信息和速度信息；

动作决策模块，用于将所述旋翼无人机的当前环境状态输入至动作决策模型，得到所述动作决策模型输出的所述旋翼无人机的当前动作；其中，所述动作决策模型是基于旋翼无人机的样本环境状态，联合目标网络对主网络进行强化学习得到的；所述目标网络与所述主网络的网络结构相同；

动作执行模块，用于控制所述旋翼无人机基于所述当前动作进行逃逸飞行。