[发明专利]一种基于强化学习的旋翼无人机逃逸方法及系统

说明书

本发明提供了一种基于强化学习的旋翼无人机逃逸方法及系统，方法包括：获取旋翼无人机在无人机群围捕环境中的当前环境状态；当前环境状态包括旋翼无人机当前的位置信息和速度信息，以及多个追捕无人机当前的位置信息和速度信息；将旋翼无人机的当前环境状态输入至动作决策模型，得到动作决策模型输出的旋翼无人机的当前动作；控制旋翼无人机基于当前动作进行逃逸飞行；其中，动作决策模型是基于旋翼无人机的样本环境状态，联合目标网络对主网络进行强化学习得到的；目标网络与主网络的网络结构相同。本发明针对群围捕环境下无人机逃逸问题，极大提升了旋翼无人机的逃逸能力，保证旋翼无人机的航行安全性，避免旋翼无人机受到抓捕或破坏。

技术领域

本发明属于无人机自主决策技术领域，更具体地，涉及一种基于强化学习的旋翼无人机逃逸方法及系统。

背景技术

近年来，伴随航空、电子信息技术以及控制理论的不断发展，无人机领域被各国所重视，无人机技术得到长足发展。相较于固定翼无人机，目前的旋翼无人机具备体积较小、飞行自由度比较高、所需造价相对较低、易于控制等优点，旋翼无人机能够在狭窄空间作业，能够在指定位置悬停、垂直升空与降落，在民用以及军事领域越来越受重视。

伴随旋翼无人机所涉及的应用领域增加，无人机面临飞行安全威胁类型也逐渐增加。旋翼无人机在执行飞行任务的途中可能会遭遇到各种安全威胁，其中甚至可能遭遇无人机群进行围捕的情形，旋翼无人机的安全将更难以保证。因此，在无人机群围捕场景下，旋翼无人机如何逃脱追捕，保护自身的安全，成为了无人机自主决策领域亟待解决的重要课题。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于强化学习的旋翼无人机逃逸方法及系统，旨在解决无人机群围捕场景下旋翼无人机如何逃逸的问题。

为实现上述目的，第一方面，本发明提供了一种基于强化学习的旋翼无人机逃逸方法，包括：

S101获取旋翼无人机在无人机群围捕环境中的当前环境状态；所述当前环境状态包括所述旋翼无人机当前的位置信息和速度信息，以及多个追捕无人机当前的位置信息和速度信息；

S102将所述旋翼无人机的当前环境状态输入至动作决策模型，得到所述动作决策模型输出的所述旋翼无人机的当前动作；

S103控制所述旋翼无人机基于所述当前动作进行逃逸飞行；

其中，所述动作决策模型是基于旋翼无人机的样本环境状态，联合目标网络对主网络进行强化学习得到的；所述目标网络与所述主网络的网络结构相同。

在一个可选的示例中，所述动作决策模型具体基于如下步骤强化学习得到：

将所述样本环境状态输入至主网络中，采用ε-greedy策略从动作空间中选择动作，并在无人机群围捕环境中执行所述动作，获得所述无人机群围捕环境返回的奖励和下一环境状态；

基于所述样本环境状态、动作、奖励以及下一环境状态，通过最小化主网络输出的预测Q值与目标网络输出的目标Q值之差来更新主网络的权重参数，直至满足预设终止条件，且在更新过程中，每隔预设数量个时间步将主网络的权重参数赋值给目标网络；

将更新完成的主网络确定为所述动作决策模型。

在一个可选的示例中，所述旋翼无人机的动作空间包含无驱动状态、向前驱动、向后驱动、向左驱动、向右驱动、向上驱动和向下驱动；所述旋翼无人机的奖励函数包含相对位置变化奖励、相对速度变化奖励、逃脱任务完成奖励、围捕中心远离奖励和被包围情形奖励。

在一个可选的示例中，所述旋翼无人机的相对位置变化奖励具体为：