[发明专利]多智能体协同控制方法、系统及设备

说明书

本申请提供一种多智能体协同控制方法、系统及设备，其中所述方法包括以下步骤：从执行一目标任务的多个智能体中确定一目标智能体；根据一价值函数为所述多个智能体中的目标智能体从策略集中调用相应的至少一策略，以控制所述目标智能体执行期望动作；其中，所述价值函数与对应的所述目标智能体的激励价值函数、以及所述多个智能体中除所述目标智能体之外的其他智能体相对所述目标智能体的交互价值函数相关。本申请提供的多智能体协同控制方法，通过设置交互价值函数作为一种内在激励价值函数，使得每个智能体对有影响力的状态和行为点进行更频繁的探索；通过激励智能体之间的交互，促使多个智能体之间产生合作，以有效地解决复杂合作型任务。

技术领域

本申请涉及多智能体技术领域，尤其涉及一种多智能体协同控制方法、系统及设备。

背景技术

在实际应用中，多智能体系统中多个智能体以协作的方式解决任务是十分常见的。在需要多个智能体协作解决任务时，无法直接把单智能体解决任务时使用的策略直接应用到多智能体系统中。现有技术中一种解决方法是采用集中式探索方式，从而将问题简化为单智能体问题。然而，这种集中式探索方式中策略集的大小会随着智能体数量的增多而呈指数级变大，计算处理十分棘手且在实践中极为低效。

现有技术中另一种解决方法是采用分散式探索方式，每个智能体通过单智能体的内在动机独自探索。然而，这种分散式探索的方法完全忽略了智能体之间的交互作用，在需要复杂协同配合的任务中极容易失败。

发明内容

鉴于以上相关技术的缺失，本申请的目的在于公开一种多智能体协同控制方法、系统及设备，用于解决相关技术中存在的问题。

为实现上述目的及其他目的，本申请的第一方面公开一种多智能体协同控制方法，包括以下步骤：从执行一目标任务的多个智能体中确定一目标智能体；基于根据一价值函数为所述多个智能体中的目标智能体从策略集中调用相应的至少一策略，以控制所述目标智能体执行期望动作；其中，所述价值函数与对应的所述目标智能体的激励价值函数、以及所述多个智能体中除所述目标智能体之外的其他智能体相对所述目标智能体的交互价值函数相关。

本申请第二方面还提供一种多智能体协同控制系统，包括：处理模块，用于从执行一目标任务的多个智能体中确定一目标智能体；控制模块，用于基于根据一价值函数为所述多个智能体中的目标智能体从策略集中调用相应的至少一策略，以控制所述目标智能体执行期望动作；其中，所述价值函数与对应的所述目标智能体的激励价值函数、以及所述多个智能体中除所述目标智能体之外的其他智能体相对所述目标智能体的交互价值函数相关。

本申请第三方面还提供一种多智能体协同控制系统，包括：多个智能设备，各所述智能设备控制至少一个智能体，所述多个智能设备执行一目标任务时执行并实现如第一方面所述的多智能体协同控制方法。

本申请的第四方面还提供一种计算机设备，包括：存储器，用于存储程序代码；一个或多个处理器；其中，所述处理器用于调用所述存储器中存储的程序代码来执行如第一方面所述的多智能体协同控制方法。

本申请的第五方面还提供一种计算机可读存储介质，存储有多智能体的协同控制方法的计算机程序，所述计算机程序被执行时实现如第一方面所述的多智能体协同控制方法。

综上所述，本申请提供的多智能体协同控制方法、系统以及设备，具有如下有益效果：本申请提供的多智能体协同控制方法，通过设置交互价值函数作为一种内在激励价值函数，使得每个智能体对有影响力的状态和行为点进行更频繁的探索；通过激励智能体之间的交互，促使多个智能体之间产生合作，进而使得智能体能够学习到复杂的合作策略，以有效地解决复杂合作型任务。

附图说明

图1显示为本申请多智能体协同控制方法在一实施例中的流程示意图。

图2显示为本申请多智能体协同控制方法在一实施例中的流程示意图。