[发明专利]多智能体协同规划方法、装置、电子设备及存储介质

说明书

本申请涉及多智能体协同规划技术领域，特别涉及一种多智能体协同规划方法、装置、电子设备及存储介质，其中，方法包括：采集中心智能体和对应目标点之间的相对位置；基于相对位置，利用预设的图神经网络对至少一个近邻智能体或中心智能体进行定向采样，获取定向采样结果，其中，图神经网络由CNN、TOKF‑GraphSAGE和MLP复合构建；利用预设的图神经网络由定向采样结果采样聚合为面向任务的多智能体的最佳协同动作。由此，解决了信息部分可知情况下对近邻智能体进行定向采样信息的问题，根据中心智能体和目标点的相对位置，对朝向目标点区域的近邻智能体进行定向采样，提高训练的效率和稳定性。

技术领域

本申请涉及多智能体协同规划技术领域，特别涉及一种多智能体协同规划方法、装置、电子设备及存储介质。

背景技术

多智能体系统起源于从上世纪80年代，多智能体协同规划是多智能体系统中的一个重要分支，它可以被定义为“一组智能体之间的联合操作或行动”，这是多智能体系统处理各种实际任务时必不可少的能力。近年来，多智能体协同规划领域的研究引起了人们的广泛关注并取得了显着进展，协作多智能体规划具有许多实际应用，比如军事领域中的无人机群协同作战，多弹头导弹联合突防等，比如民生领域，物流仓储协、交通控制等。

在实际应用场景中，环境信息往往都是部分可知或完全未知，且智能体感知和通信范围也是受限的，因此，多智能体协同规划问题的一个研究难点和重点就是智能体之间的信息共享问题，问题的关键就在于如何共享信息、共享哪些信息。由于智能体之间的通信网络可看作是一张非欧数据图，而图神经网络方法既能够聚合网络中复杂的结构信息，同时又能囊括丰富的属性信息，为解决信息共享问题提供了一种可行方案。

发明内容

本申请提供一种多智能体协同规划方法、装置、电子设备及存储介质，以解决信息部分可知情况下对近邻智能体进行定向采样信息的问题，根据中心智能体和目标点的相对位置，对朝向目标点区域的近邻智能体进行定向采样，提高训练的效率和稳定性。

本申请第一方面实施例提供一种多智能体协同规划方法，包括以下步骤：

采集中心智能体和对应目标点之间的相对位置；

基于所述相对位置，利用预设的图神经网络对至少一个近邻智能体或所述中心智能体进行定向采样，获取定向采样结果，其中，所述图神经网络由CNN(ConvolutionalNeural Networks，卷积神经网络)、TOKF-GraphSAGE和MLP(Multilayer Perceptron，全连接神经网络)复合构建；以及

利用所述预设的图神经网络由所述定向采样结果采样聚合为面向任务的多智能体的最佳协同动作。

可选地，所述利用预设的图神经网络对至少一个近邻智能体或所述中心智能体进行定向采样，包括：

获取由所述相对位置确定用于采样的至少一个近邻智能体或所述中心智能体的感知图像；

从所述感知图像中提取所述至少一个近邻智能体或所述中心智能体的环境特征；

将所述环境特征输入至TOKF-GraphSAGE中，分别以所述至少一个近邻智能体或所述中心智能体中每一个智能体为中心，对朝向对应目标点方向的至少一个近邻智能体或所述中心智能体进行信息采样和聚合，得到当前智能体面向任务的知识融合结果；

将所述知识融合结果输入至MLP中，映射为基于概率分布的动作策略，得到所述至少一个近邻智能体或所述中心智能体在任一时刻的预测动作。

可选地，所述将所述环境特征输入至TOKF-GraphSAGE中，分别以所述至少一个近邻智能体或所述中心智能体中每一个智能体为中心，对朝向对应目标点方向的至少一个近邻智能体或所述中心智能体进行信息采样和聚合，得到当前智能体面向任务的知识融合结果，包括：

由所述环境特征生成N个高维向量，其中，所述N为正整数；