[发明专利]快速收敛的多无人机协同对抗强化学习方法

权利要求书

1.一种快速收敛的多无人机协同对抗强化学习方法，其特征在于，所述方法包括：

获取多无人机协同对抗时的无人机状态数据；

计算所述无人机状态数据的奖励回报，所述奖励回报包括：多无人机协同对抗参数奖励回报或多无人机协同对抗规则奖励回报；

基于预先构建的强化学习网络对所述无人机状态数据进行处理，得到多无人机重决策方案；

基于所述奖励回报更新所述强化学习网络；

基于所述多无人机重决策方案获取多无人机协同对抗数据，并作为下一回合的无人机状态数据，以使更新后的强化学习网络对下一回合的无人机状态数据进行处理，以得到下一回合的多无人机协同对抗重决策方案；

所述多无人机协同对抗参数奖励回报包括：无人机态势优势奖励回报和无人机能力优势奖励 回报；

所述无人机态势优势奖励回报包括：距离优势奖励回报、角度优势奖励回报和速度优势奖励回报；

所述无人机能力优势奖励回报包括：武器射程优势奖励回报、武器角度优势奖励回报和武器速度优势奖励回报；

所述距离优势奖励回报的计算方法包括：

其中：

r₃₁表示距离优势奖励回报；

D_Rmax为雷达最大搜索距离；

D_Mmax为导弹攻击距离；

表示为我方的第i架无人机到敌方的第j架无人机的距离；

或：

其中：

D₁、D₂、D₃分别表示严重威胁区域阈值、普通威胁区域阈值和轻微威胁区域阈值；

表示我方第i架无人机的坐标；

表示敌方第j架无人机的坐标；

或：

其中：

v_r表示我方无人机速度；

表示我方第i架无人机到敌方第j架无人机之间的方位角；

表示预设周期之后的我方第i架无人机的坐标；

表示预设周期之后的敌方第j架无人机的坐标；

或：

其中：

为我方第i架无人机的飞行高度；

为敌方第j架无人机的飞行高度；

z₀为无人机最佳飞行高度；

所述多无人机协同对抗规则奖励回报的计算方法包括：

其中：

表示我方第i架无人机到敌方第j架无人机间的距离；

θ^r表示我方无人机速度方向与双方质心间的角度；

θ^b表示敌方无人机速度方向与双方质心间的角度

β代表双方无人机之间的角度，v_r表示我方无人机速度；

h代表无人机高度。

2.如权利要求1所述的强化学习方法，其特征在于，所述无人机状态数据包括：无人机横坐标、无人机纵坐标、无人机飞行高度、无人机飞行速度、无人机横滚角、无人机航向角、无人机俯仰角、无人机余弹数量和无人机类型。