[发明专利]一种多智能体学习方法、装置及设备

权利要求书

1.一种多智能体学习方法，其特征在于，所述方法包括：

部署至少两个执行网络，每个执行网络对应一个智能体，所述执行网络用于为相应智能体提供动作执行环境；

针对所述至少两个执行网络中的每个执行网络，调用所述执行网络基于相应智能体当前的状态特征以及至少一个目标第一等级动作训练相应智能体，所述目标第一等级动作是预设决策动作库中与所述智能体当前的状态特征相匹配的第一等级动作，得到所述智能体当前的状态特征对应的动作结果；

调用所述执行网络使所述每个动作结果对应的智能体依据所述动作结果进行交互训练，以及检测交互训练的次数是否等于第一预设阈值；

当各个智能体的所述交互训练次数等于第一预设阈值时，基于每次交互训练产生的训练结果对全部所述智能体进行训练；

当所述交互训练次数小于第一预设阈值时，重复执行针对所述至少两个执行网络中的每个执行网络，调用所述执行网络基于相应智能体当前的状态特征以及至少一个目标第一等级动作训练相应智能体的步骤。

2.根据权利要求1所述的多智能体学习方法，其特征在于，针对所述至少两个执行网络中的每个执行网络，调用所述执行网络基于相应智能体当前的状态特征以及至少一个目标第一等级动作训练相应智能体得到所述智能体当前的状态特征对应的动作结果包括：

读取所述相应智能体当前的状态特征；

根据所述当前的状态特征从所述决策动作库中获得与所述当前的状态特征相匹配的至少一个目标第一等级动作；

调用相应智能体执行所述至少一个目标第一等级动作，使得所述智能体输出第一等级动作或第二等级动作，所述第一等级动作是所述至少一个目标第一等级动作中与所述智能体的当前状态特征相匹配的目标第一等级动作，所述第二等级动作由至少一个第一等级动作组合或衍化得到。

3.根据权利要求1所述的多智能体学习方法，其特征在于，所述方法还包括：

建立集中训练网络，所述集中训练网络用于调用全部所述智能体基于所有所述训练结果进行训练。

4.根据权利要求2所述的多智能体学习方法，其特征在于，所述通过训练相应智能体，使得所述智能体根据所述至少一个目标第一等级动作输出第二等级动作，包括：

基于所述智能体当前状态特征，调用所述至少一个目标所对应的决策动作库中的至少两个第一等级动作按照预设顺序组合得到准第二等级动作；

执行网络基于所述智能体当前状态特征对所述智能体进行动作训练，获得所执行至少一个第一等级动作中每个第一等级动作对准第二等级动作的可行性影响，准第二等级动作的可执行性参数，以及第一等级动作的可执行性参数；

获取所述第一等级动作的可执行性参数以及第二等级动作的可执行性参数，

若可执行性参数的最大值对应所述第一等级动作的可执行性参数，则输出第一等级动作；

若可执行性参数的最大值对应所述第二等级动作的可执行性参数，则所述可执行性参数中的最大值对应的准第二等级动作作为所述第二等级动作输出。