[发明专利]一种多智能体学习方法、装置及设备

说明书

本申请实施例涉及人工智能领域，公开了一种多智能体学习方法、装置及设备。本申请实施例涉及的多智能体学习方法包括：部署至少两个执行网络用于为智能体提供动作执行环境，每个执行网络对应一个智能体，基于智能体当前的状态特征调用执行网络得到对应的动作结果，并且，调用所有智能体的动作结果并与环境进行交互训练，检测交互训练的次数是否等于预设阈值，当各个智能体的交互训练次数等于预设阈值时，基于交互训练产生的训练结果对全部所述智能体进行训练。这样，在学习过程中，随着智能体数量增加，只需对分布执行网络进行扩展，智能体动作空间不会变的复杂，此降低了每个智能体动作空间以及决策空间的设计难度，提升了智能体的学习效率。

技术领域

本发明实施例涉及人工智能领域，涉及一种多智能体学习方法、装置及设备。

背景技术

多智能体学习是强化学习领域中一个热门研究方向。多智能体学习是指，在同一个环境中通过具有交互关系的多个智能体之间相互协作或对抗博弈，使每个智能体学习应对其它智能体动作的决策，以提高同一阵营所在智能体群体的对战胜率。

通常，在面对复杂学习环境时，例如在具有多个智能体的学习环境中，同一阵营方智能体之间存在协作关系，并且与对立阵营智能体具有对抗关系。通过对整体学习环境所处的学习网络设置多个输出控制单元控制每个智能体的学习内容，进而实现每个智能体在复杂学习环境下的有效学习。但是，在实际应用中，此方法随着智能体数量规模的增加，每个智能体的动作空间以及决策空间的设计难度增大，降低了智能体的学习效率。

发明内容

本申请实施例提供了一种多智能体学习方法、装置及设备，以解决复杂环境中多智能体学习随着智能体数量增加，每个智能体的动作空间以及决策空间的设计难度增大，智能体学习效率降低的问题。

第一方面，本申请实施例提供了一种多智能体学习方法，所述方法包括：

部署至少两个执行网络，每个执行网络对应一个智能体，所述执行网络用于为相应智能体提供动作执行环境；

针对所述至少两个执行网络中的每个执行网络，调用所述执行网络基于相应智能体当前的状态特征以及至少一个目标第一等级动作训练相应智能体，所述目标第一等级动作是预设决策动作库中与所述智能体当前的状态特征相匹配的第一等级动作，得到所述智能体当前的状态特征对应的动作结果；

调用所述执行网络使所述每个动作结果对应的智能体依据所述动作结果进行交互训练，以及检测交互训练的次数是否等于第一预设阈值；

当各个智能体的所述交互训练次数等于第一预设阈值时，基于每次交互训练产生的训练结果对全部所述智能体进行训练；

当所述交互训练次数小于第一预设阈值时，重复执行针对所述至少两个执行网络中的每个执行网络，调用所述执行网络基于相应智能体当前的状态特征以及至少一个目标第一等级动作训练相应智能体的步骤。

在一些可能的实施方式中，

针对所述至少两个执行网络中的每个执行网络，调用所述执行网络基于相应智能体当前的状态特征以及至少一个目标第一等级动作训练相应智能体得到所述智能体当前的状态特征对应的动作结果包括：

读取所述相应智能体当前的状态特征；

根据所述当前的状态特征从所述决策动作库中获得与所述当前的状态特征相匹配的至少一个目标第一等级动作；

调用相应智能体执行所述至少一个目标第一等级动作，使得所述智能体输出第一等级动作或第二等级动作，所述第一等级动作是所述至少一个目标第一等级动作中与所述智能体的当前状态特征相匹配的目标第一等级动作，所述第二等级动作由至少一个第一等级动作组合或衍化得到。

在一些可能的实施方式中，所述多智能体学习方法还包括：