[发明专利]一种基于迁移学习改进的PMADDPG多无人机任务决策方法

说明书

本发明公开了一种基于迁移学习改进的PMADDPG多无人机任务决策方法。首先在多无人机实际作战环境背景下，针对环境中的防空导弹、雷达等威胁进行合理的数学建模，然后创建多个不同的二维作战环境模型，并且设计约束条件，依次对多个作战环境进行学习和训练，进而得到最终的多无人机任务分配模型。本发明方法克服了已有技术中只能在已知或静态作战环境下进行任务决策的缺陷，在未知的作战环境下，也可以能够高效的进行决策，实现无人机的任务，大大保障了无人机群在未知作战环境中的生存能力。

技术领域

本发明属于飞行控制领域，具体涉及一种多无人机任务决策的方法。

背景技术

对于各国军方来说，无人机将会成为未来战场必不可少的武器之一。无人机很可能成为多个作战平台的攻击和反击对象，成为最普遍和最致命的空战“利剑”，多无人机的协同作战方式将会成为未来的主流发展趋势。目前，国内外军事院校及学者对多无人机任务决策问题的研究十分关注，成果也有很多。但是，多无人机任务决策的研究仍存在不少问题。比如在多无人机协同搜索、跟踪、任务分配、航迹规划、编队控制等问题中，一方面，大多研究的无人机模型建立基本都未考虑实际战场需求，仅仅在静态的无人机任务背景下进行单无人机的研究，并且使用的优化算法还是一些传统的优化算法。这些传统算法大多都基于单目标函数的优化问题而提出，并且大部分都是基于理论研究，适用于静态作战环境，未考虑实际空战中的各种动态变化和约束条件。另一方面，虽然有些无人机研究成果引入了深度强化学习的方法，但是，现有的深度强化学习算法在处理多无人机任务决策相关问题时耗时较长，对于实时性的需求还有待提高。并且在算法的泛化能力还远远不够，只能在训练时所处的环境中有很好的表现，在全新环境中的表现还远远不够。

发明内容

为了克服现有技术的不足，本发明提供一种基于迁移学习改进的PMADDPG多无人机任务决策方法。首先在多无人机实际作战环境背景下，针对环境中的防空导弹、雷达等威胁进行合理的数学建模，然后创建多个不同的二维作战环境模型，并且设计约束条件，依次对多个作战环境进行学习和训练，进而得到最终的多无人机任务分配模型。本发明方法克服了已有技术中只能在已知或静态作战环境下进行任务决策的缺陷，在未知的作战环境下，也可以能够高效的进行决策，实现无人机的任务，大大保障了无人机群在未知作战环境中的生存能力。

为达到上述目的，本发明提出了一种基于迁移学习改进的PMADDPG多无人机任务决策方法，包括以下步骤：

步骤1：建立雷达威胁模型、导弹威胁模型和转弯半径约束模型

建立雷达威胁模型为：

其中，R_max为雷达在水平方向上最远的探测距离，U_R是无人机当前位置与雷达位置的距离；

建立导弹威胁模型为：

其中，U_M是无人机当前位置与导弹位置的距离，d_{M max}为导弹所能攻击的最远距离，d_{M min}为导弹的不可逃逸距离，一旦无人机与导弹的距离小于d_{M min}，则无人机一定会被击中；

建立转弯半径约束模型为：

R_uav≥R_min (3)

其中,R_min为无人机的最小转弯半径，R_uav为无人机的实际转弯半径；

步骤2：设定作战环境中存在若干个威胁区、若干个目标区域、若干架无人机；随机选择一个或多个威胁区,随机选择一个或多个目标区域，随机选择一架或多架无人机，将选择的威胁区、目标区域、无人机进行组合，构建一个无人机作战环境；重复上述随机选择和组合过程，构建G个无人机作战环境；