[发明专利]一种基于多体博弈的无人机群协同自主决策方法及装置

说明书

本发明公开了一种基于多体博弈的无人机群协同自主决策方法及装置，该方法包括：构建无人机群与目标的对抗模型，包括无人机及目标的运动模型、对抗双方的机动动作库以及机动攻防库；将对抗双方作为智能体，以二人零和博弈为条件构建随机博弈模型；采用深度强化学习求解所述随机博弈模型，得到最优策略。本发明基于多体博弈和深度强化学习的智能决策功能，能够自主选取对敌方多种干扰的对抗手段，以适应无人机群在对抗环境下的抗干扰应用需求。对敌方目标所采取的防御手段，无人机群能够自主选取相应的抗干扰手段，实现协同抗干扰对抗功能，提升智能无人机群的任务执行能力、生存能力与协同对抗效能。

技术领域

本发明属于飞行器控制技术领域，尤其是涉及一种基于多体博弈的无人机群协同自主决策方法及装置。

背景技术

为实现无人机群在复杂对抗环境下、对多目标对抗时任务执行手段的自主决策，可以将自主手段选择视为任务分配问题。例如，在协同抗干扰过程中，可将侧向机动、电子对抗、释放拖曳诱饵等视为任务并对无人机群资源进行抗干扰任务的分配，选择若干无人机执行不同的抗干扰任务。

传统方法将自主决策问题构建为面向任务分配的多旅行商问题(MTSP)，采用混合整数线性规划(MILP)模型可以求解自主决策问题模型。此外，为实现更合理的任务分配，还可以引入动态任务时间约束和无人机任务能力的约束，建立扩展的多机协同任务分配模型，同时对MTSP进行路径和时间的优化，建立MTSP数字规划模型。在MILP模型的基础上，还可以加入对异构多无人机多任务分配问题，实现改进的MILP建模。

基于任务模型解决任务分配问题的算法主要分为最优化方法和启发式方法。匈牙利算法是一种最常用的最优化方法，也可将匈牙利算法推广至多目标分配中。而启发式方法在求解时耗和求解质量之间进行折中，目的是在一定时间范围内得出问题的满意解。群算法，包括蚁群算法、粒子群算法等是目前应用较多的启发式方法，这些算法模拟的是自然界中鸟类、昆虫、鱼类的集群行为。

发明内容

本发明的目的在于提供一种基于多体博弈的无人机群协同自主决策方法及装置，用于实现不完全信息下的博弈决策，并且满足协同任务下自主决策功能对于鲁棒性和实时性的双重需要。

为实现上述目的，本发明采用如下的技术方案：

根据本发明的第1方面，公开了一种基于多体博弈的无人机群协同自主决策方法，包括：

构建无人机群与目标的对抗模型，包括无人机及目标的运动模型、对抗双方的机动动作库以及机动攻防库；

将对抗双方作为智能体，以二人零和博弈为条件构建随机博弈模型；

采用深度强化学习求解所述随机博弈模型，得到最优策略。

在另外的一些示例中，无人机及目标的运动模型分别采用质点运动方程表示，用于表示无人机群与目标双方对抗态势的参数包括对抗双方的位置坐标、速度、相对距离、方位角及目标入射角。

在另外的一些示例中，所述随机博弈模型中，状态S由对抗双方的位置坐标(x,y,z)、速度v、相对距离R、方位角和目标入射角q组成，表示为：

在另外的一些示例中，所述随机博弈模型中，无人机的动作空间A_p包括11种动作，目标的动作空间A_T包括5种动作。

在另外的一些示例中，所述随机博弈模型中，优势奖励函数为：

式中，r_piT表示无人机p_i相对于目标T的优势态势奖励，Δd表示双方之间的欧氏距离，Δh表示双方之间的高度差，表示无人机p_i相对于目标T的方位角，q表示无人机p_i的目标入射角。