[发明专利]多智能体协同控制方法、系统及设备

权利要求书

1.一种多智能体协同控制方法，其特征在于，包括以下步骤：

从执行一目标任务的多个智能体中确定一目标智能体；

根据一价值函数为所述多个智能体中的目标智能体从策略集中调用相应的至少一策略，以控制所述目标智能体执行期望动作；其中，所述价值函数与对应的所述目标智能体的激励价值函数、以及所述多个智能体中除所述目标智能体之外的其他智能体相对所述目标智能体的交互价值函数相关；其中，所述目标智能体的激励价值函数为所述目标智能体的外在激励价值函数与内在激励价值函数之和；所述交互价值函数与转移之后的所述多个智能体中的除所述目标智能体之外的其他智能体的动作-价值函数与忽略所述智能体的状态和动作的条件下经反事实计算得到的动作-价值函数的期望差相关。

2.根据权利要求1所述的多智能体协同控制方法，其特征在于，所述根据一价值函数为所述多个智能体中的目标智能体从策略集中调用相应的至少一策略，以控制所述目标智能体执行期望动作的步骤包括：

确定所述多个智能体中的目标智能体的交互价值函数；

根据所述交互价值函数和所述激励价值函数确定所述目标智能体的价值函数；

根据所述价值函数，从所述策略集中获得一策略，根据所述策略控制所述目标智能体执行期望动作。

3.根据权利要求1所述的多智能体协同控制方法，其特征在于，还包括确定执行所述目标任务的实施环境的步骤。

4.根据权利要求1所述的多智能体协同控制方法，其特征在于，还包括为各智能体构建状态集和动作集的步骤。

5.根据权利要求1所述的多智能体协同控制方法，其特征在于，所述目标智能体的激励价值函数与所述目标智能体的外在激励价值函数以及内在激励价值函数相关。

6.根据权利要求1所述的多智能体协同控制方法，其特征在于，所述多个智能体中的除所述目标智能体之外的其他智能体的动作-价值函数与除所述目标智能体之外的其他智能体的奖励以及所述其他智能体在转移之后的期望累计收益之和相关。

7.根据权利要求1所述的多智能体协同控制方法，其特征在于，所述经反事实计算得到的动作-价值函数与除所述目标智能体之外的其他智能体的反事实奖励以及所述其他智能体在转移之后的反事实的期望累计收益之和相关。

8.根据权利要求1所述的多智能体协同控制方法，其特征在于，当所述多智能体之间存在成对的交互作用时，所述交互价值函数为每对智能体的交互价值之和。

9.根据权利要求1所述的多智能体协同控制方法，其特征在于，所述交互价值函数与除所述目标智能体之外的其他智能体的即时奖励以及所述其他智能体在转移之后的期望累计收益相关。

10.根据权利要求9所述的多智能体协同控制方法，其特征在于，所述即时奖励为除所述目标智能体之外的其他智能体的奖励与所述其他智能体的反事实的奖励之差。

11.根据权利要求1所述的多智能体协同控制方法，其特征在于，还包括更新价值函数中的价值的步骤。

12.一种多智能体协同控制系统，其特征在于，包括：

处理模块，用于从执行一目标任务的多个智能体中确定一目标智能体；

控制模块，用于根据一价值函数为所述多个智能体中的目标智能体从策略集中调用相应的至少一策略，以控制所述目标智能体执行期望动作；

其中，所述价值函数与对应的所述目标智能体的激励价值函数、以及所述多个智能体中除所述目标智能体之外的其他智能体相对所述目标智能体的交互价值函数相关；其中，所述目标智能体的激励价值函数为所述目标智能体的外在激励价值函数与内在激励价值函数之和；所述交互价值函数与转移之后的所述多个智能体中的除所述目标智能体之外的其他智能体的动作-价值函数与忽略所述智能体的状态和动作的条件下经反事实计算得到的动作-价值函数的期望差相关。