[发明专利]一种基于分层强化学习的无人机集群对抗策略优化方法

说明书

本发明涉及一种基于分层强化学习的无人机集群对抗策略优化方法，创新点在于：基于强化学习的无人机集群对抗策略推演方法和基于强化学习的时空融合的奖励设计方法。将现有的强化学习算法以分层控制的方法运用到无人机集群编队的作战模拟仿真环境中，通过对总体任务目标的分解，使得强化学习算法可以在复杂的无人机集群对抗环境中推演出合格的对抗策略。克服了传统强化学习算法在复杂环境中由于状态空间和动作空间较大而产生的无法决策的问题，同时也可以推演出相对出色的对抗策略。

技术领域

本发明属于强化学习和无人机作战技术领域，涉及一种基于分层强化学习的无人机集群对抗策略优化方法。主要完成在现代战争中需要依靠无人机进行作战时，通过强化学习技术训练的智能体搭载在无人机作战装备上，使得无人机在真实环境时可以做出相对成熟可靠的作战动作，可用于复杂环境下无人机进行作战时多无人机系统的协同作战及任务分配，提高作战任务的高效性。

背景技术

随着近年来世界战争的不断发展，无人作战装备在近年来的世界战场上大展风采，随着国际形势以及科学技术的不断发展，无人作战模式越来越成为各个军事强国研究的主要问题。强化学习以试错机制为出发点进行智能体的训练，通过仿真模拟使智能体学习到足够的知识，可以有效的控制无人机在复杂环境下进行作战。面对复杂战场环境下的不可预知性，强化学习技术比以往的人工智能方法可以更好的控制无人机进行作战，而随着现代科学技术的不断进步，无人作战装备与强化学习技术的合作有着更为深远的意义。

现有的基于强化学习的无人机作战方式一般分为多智能体作战和单智能体作战，单智能体作战即作战单元只有一个的情况下，单元不需要配合其他的装备去进行作战，而多智能体作战即集群化作战，需要考虑作战单元之间的通讯，协同等相关因素，其根本在于通过不同的强化学习算法实现对不同数量的无人机进行控制。

以上方法在无人机集群作战的环境下，无论是集中式还是分散式，都存在着各自的优势和不足，在面对复杂环境时状态空间和动作空间的参量选择，无人机协同之间的通讯问题，任务之间的分配协作等，都需要进一步的进行考虑。当考虑因素过多时，传统的强化学习算法可能会出现空间爆炸，维数灾难等相关问题，使得训练效率低下甚至不收敛的情况。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于分层强化学习的无人机集群对抗策略优化方法，针对复杂环境下观测空间复杂，动作选择困难，以及任务分配难以协同等相关问题整合起来，使得集群对抗中对环境空间和动作空间更容易整和，集群中各个智能体之间的合作更加的协调。同时本发明的强化学习算法在算法设计上采用分层强化学习的基本思路，使得训练过程中可以处理更多的环境参量，对仿真结果的可靠性有着显著的提高。

技术方案

一种基于分层强化学习的无人机集群对抗策略优化方法，其特征在于步骤如下：

步骤1、想定场景设计：环境设计以无人机为主要作战单元，战场选择在空旷的固定区域；作战双方为敌对的红蓝双方，各方作战单元以同构兵力进行推演，或以异构兵力进行推演；

所述兵力包括武器装备的数量和型号；

所述作战单元包括挂载空空导弹的空战作战单元，一种是挂载对地导弹的轰炸作战单元，另一种是挂载电子战干扰/反干扰雷达的电子作战单元；

所述场景设计包括但不限于红蓝双方作战型号，单元数量，挂载单元，地理位置和天气状况；

步骤2：按照步骤1的场景设计，利用仿真推演平台进行仿真，得到无人机集群中每个无人机智能体的固定GUID获取单元的动作和状态(Sn,An)，其中St表示当前状态，At集表示当前动作；

所有无人机智能体的特征状态和特征动作组成状态空间和动作空间，以(St，At)作为表示；