[发明专利]一种多智能体强化学习方法及系统

说明书

本发明提供一种多智能体强化学习方法及系统，其中的方法包括：获取多智能体的共享经验数据集；根据共享经验数据集，对初始策略进行训练，得到共享策略；获取多智能体当前的目标状态；将目标状态输入至共享策略，获取目标决策动作，该方法使得多智能体可以根据自身需要随时调用共享策略，不需要多智能体中每一个智能体单独维护一个策略模块，从而避免了存储空间和计算资源的浪费，并保持了多智能体策略的一致性。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种多智能体强化学习方法及系统。

背景技术

多智能体强化学习是一种将强化学习算法引入多智能体系统，从而使得多智能体具备智能表现的技术。多智能体强化学习通过将环境中的每个智能体建模为一个强化学习智能体，并通过智能体间的回报设置实现多智能体的合作或竞争。多智能体强化学习通过多智能体共同“探索-开发”，实现群体智能的演变和提高。而环境的随机性和各个智能体的随机探索，使得多智能体们较难完成合作任务。

当前的多智能体强化学习为了保证分布式的智能实现，需要将系统中的多个智能体进行分布的或并行的训练。而强化学习的巨大采样复杂性在解决单智能体和多智能体强化学习问题中是公认的难点，状态空间随智能体数量指数型增长使得其需要大量的计算资源。特别是在多智能体合作任务中，系统中同质的智能体却需要分别从零学习，一方面，独立地进行分布式学习会浪费计算资源，另一方面，也会造成同质的合作智能体因学习不充分得到的策略不同。

因此，如何解决现有技术中同质的合作智能体因学习不充分而得到的策略不同，且多智能体进行分布式学习浪费计算资源的技术问题，是人工智能技术领域亟待解决的重要课题。

发明内容

本发明提供一种多智能体强化学习方法及系统，用以解决现有技术中同质的合作智能体因学习不充分而得到的策略不同，且多智能体进行分布式学习浪费计算资源的缺陷，避免了存储空间和计算资源的浪费，并保持了多智能体策略的一致性。

一方面，本发明提供一种多智能体强化学习方法，其特征在于，包括：获取多智能体的共享经验数据集；根据所述共享经验数据集，对初始策略进行训练，得到共享策略；获取所述多智能体当前的目标状态；将所述目标状态输入至所述共享策略，获取目标决策动作。

进一步地，所述获取多智能体的共享经验数据集，包括：获取所述多智能体在训练或执行过程中的每个决策得到的单一经验数据；将所述单一经验数据共同存储，形成所述共享经验数据集。

进一步地，所述单一经验数据至少包括原系统状态、目标智能体的决策动作、多智能体中其他智能体的决策动作、目标智能体执行决策动作后的系统状态、目标智能体经过自身决策动作获得的奖励以及多智能体中其他智能体获得的奖励。

进一步地，所述共享策略通过人工神经网络、树状数组或多维矩阵表达。

进一步地，所述将目标观测信息输入至共享策略，获取目标决策动作，之后还包括：获取与所述目标决策动作相对应的经验数据，并将其存入所述共享经验数据集。

进一步地，所述根据所述共享经验数据集，对初始策略进行训练，得到共享策略，包括：采用Q-learning算法对所述初始策略进行训练，得到所述共享策略。

第二方面，本发明还提供一种多智能体强化学习系统，其特征在于，包括：经验数据获取模块，用于获取多智能体的共享经验数据集；共享策略获取模块，用于根据所述共享经验数据集，对初始策略进行训练，得到共享策略；目标状态获取模块，用于获取所述多智能体当前的目标状态；决策动作获取模块，用于将所述目标状态输入至所述共享策略，获取目标决策动作。

第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多智能体强化学习方法的步骤。