[发明专利]基于多智能体强化学习的无人机协同控制训练方法及系统

说明书

本发明公开了一种基于多智能体强化学习的无人机协同控制训练方法和系统。所述方法包括：建立大规模无人机集群任务模型；根据任务模型建立马尔科夫博弈模型；构建MADDPG算法神经网络；调整神经网络的超参数，在通过MADDPG算法训练时，以一定的概率分别从探索环境经验和高质量经验中采集样本，以每个无人机的自身状态信息和环境信息作为神经网络的输入，以多无人机的速度作为输出，完成运动规划策略的训练，实现多无人机在复杂环境下自主避障并安全快速地到达目标位置。本发明的方法可提高策略的鲁棒性，训练出适应性更强和灵活性更高的优秀策略，在多无人机协同运动规划的场景中有很好的应用前景。

技术领域

本发明属于人工智能、无人机技术领域，尤其涉及一种基于多智能体强化学习的无人机协同控制训练方法及系统。

背景技术

近年来，自主集群无人作战成为智能化军事应用的探索趋势，每个无人平台可视为一个智能体，无人作战过程中存在多种不稳定因素，战场态势不断变化，使得对作战态势的动态响应各不相同。由于需要大量训练样本的监督学习训练模型的泛化性能较弱，而深度强化学习方法仅需对当前系统运行效果评价信息做出反应，因此，深度强化学习技术具有更高的实时性和鲁棒性，更适用于智能体博弈对抗行为建模。

无人集群系统的协同控制包含协调和合作两个方面。协调的目的是确保多无人平台在执行任务过程中不发生冲突，研究的是多无人平台之间的动作控制问题。合作的目的是组织多个无人平台共同完成任务，研究的是高层的组织和决策机制问题。无人集群协同控制涉及无人集群系统体系结构设计和无人集群分布式控制等内容。引入强化学习技术可让无人平台的自主分布式控制具有更强的适应性和灵活性，提高单个无人平台完成作战任务的能力，同时也可增强无人集群的协调协作，提高集群系统的整体性能。无人集群系统中，单个无人平台感知的环境信息是局部的，因此通过传统单智能体强化学习算法得到的策略不具有普适性。为了解决该问题，多智能体强化学习在单智能体强化学习的基础上增加了智能体数量，并通过引入分布式协同策略机制使每个智能体具有自主性、目的性和协调性，且具备学习、推理和自组织能力。

发明内容

本发明的目的是提供一种基于多智能体强化学习的无人机协同控制训练方法及系统，以解决大规模无人机在执行各种复杂任务和环境时协同决策，充分地学习到大规模无人机中各无人机在训练学习自身动作策略的同时，也学习到了其他智能体的策略，并提高了策略的鲁棒性，训练出适应性更强和灵活性更高的优秀策略，在多无人机协同控制的场景中有很好的应用前景。

为实现上述目的，本发明第一方面提出一种基于多智能体强化学习的无人机协同控制训练方法，包括：

步骤S1：建立大规模无人机集群的任务模型；

步骤S2：根据任务模型建立马尔科夫博弈模型；

步骤S3：构建MADDPG算法神经网络；

步骤S4：训练MADDPG算法神经网络；

步骤S5：将MADDPG算法神经网络加载到无人机群中，执行无人机集群协同控制，将所述神经网络输出的动作映射为对应的无人机的控制指令。

进一步的，所述步骤S1具体包括：

(1)任务描述：描述无人机集群在场景中的协同任务，所述协同任务为无人机集群需要在一定时间内全部到达指定目的地，其中在一定范围内存在建筑群和障碍物；所述无人机集群中的所有无人机都是同构的，拥有相同的性能参数；

(2)环境约束：

初始坐标约束：场景中无人机i在初始区域内随机产生，目标位置与障碍物位置在目标区域一定距离内随机出现；其无人机i在初始时刻到目标区域g的距离d_ig满足：

d_i,g≥d_init