[发明专利]一种基于知识驱动的多智能体强化学习决策方法、系统及存储介质

说明书

本发明公开了一种基于知识驱动的多智能体强化学习决策方法，该方法包括：将基于知识重构的策略初始优化引入智能体初始化步骤中，构成强化学习的初始阶段；将基于知识导向的奖励函数塑形引入强化学习过程中；获取样本数据集，训练并更新神经网络，产生输出策略；收集输出策略，利用输出策略构建基于虚拟自博弈的联盟训练，将联盟训练结果用于更新智能体策略和对手池；停止训练后输出最终策略。本发明针对复杂策略空间下智能决策模型训练效率问题等现实问题，围绕奖励稀疏延时、探索盲目性和不稳定性三个问题分别采取上述方法，可以有效提升了多智能体强化学习的效率和智能决策模型水平，实现了一种基于知识驱动的多智能体强化学习决策方法。

技术领域

本发明涉及人工智能技术领域，更具体地，涉及一种基于知识驱动的多智能体强化学习决策方法、系统及存储介质。

背景技术

近年来，以深度学习(deep learning，DU)为核心的智能技术取得了长足的进步，特别是以深度强化学习(deep reinforcement learning，DRL)为代表的智能方法在解决雅达利游戏、棋类博弈对抗、即时策略游戏(real-time strategy，RTS)等决策问题上取得了众多超越人类水平的成果，使得面向自主认知的智能决策有望得到进一步发展，并取得关键性突破。强化学习(reinforcement learning，RL)作为解决序贯决策问题的重要方法，其通过与环境的交互试错来学习策略，恰好契合了人类的经验学习和决策思维方式，可以有效解决样本数据获取难等问题。

虽然强化学习网络可以拟合表征较为复杂的策略模型，但是随着网络层数的增加和网络参数的增加，网络训练的计算量会呈指数级增长。特别是对于即时策略游戏中大规模联合作战指挥决策问题，巨大的策略空间会带来一系列连锁问题，严重影响模型的训练效率，主要体现在三个方面：

一是奖励稀疏延时导致学习效率低下。强化学习的学习目标能否与作战任务目标统一，奖励函数的设计起着决定性作用。战争游戏作为典型复杂问题，以自然语言形式表征的作战目标却很难直接转换成准确的奖励函数，同时由于作战影响因素的复杂性，对于单个动作行为很难给出即时准确的反馈，即奖励函数存在反馈稀疏、延迟和不准确的问题，严重影响强化学习的效率。

二是探索盲目性导致训练难以收敛。强化学习的“试错”机制虽然可以有效解决作战样本数据缺乏问题，但这种盲目性也带来学习效率低的问题。特别是在复杂大规模作战背景下，决策空间巨大，在训练初始阶段盲目试错机制的效率低问题就更为明显，甚至根本无法得到有效的样本数据。

三是不稳定性导致策略鲁棒性不够。强化学习是通过自博弈形式得到样本数据，所以其抽样得到的训练样本质量完全取决于自博弈阶段智能体水平。而智能体的策略学习是通过在策略空间中不断地探索与利用实现，而复杂策略空间下如果探索有限则会使得智能体策略具有片面局限性，即模型性能的不稳定性，反之大量的探索又会导致模型难以收敛，即模型训练的不稳定性，最终都会降低智能体策略的鲁棒性。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于知识驱动的多智能体强化学习决策方法、系统及存储介质，用以解决上述问题中的至少一个。

为实现上述目的，按照本发明的第一个方面，提供了一种基于知识驱动的多智能体强化学习决策方法，该方法包括：

S1.将基于知识重构的策略初始优化引入智能体初始化步骤中，构成强化学习的初始阶段；

S2.将基于知识导向的奖励函数塑形引入强化学习过程中；

S3.获取所述S2步骤的样本数据集，训练并更新神经网络，产生输出策略；

S4.收集所述S3步骤的所述输出策略，利用所述输出策略构建基于虚拟自博弈的联盟训练，将所述联盟训练结果用于更新智能体策略和对手池；

S5.停止训练后，输出最终策略。

进一步地，上述基于知识驱动的多智能体强化学习决策方法还包括：