[发明专利]一种基于知识驱动的多智能体强化学习决策方法、系统及存储介质

权利要求书

1.一种基于知识驱动的多智能体强化学习决策方法，其特征在于，包括：

S1.将基于知识重构的策略初始优化引入智能体初始化步骤中，构成强化学习的初始阶段；

S2.将基于知识导向的奖励函数塑形引入强化学习过程中；

S3.获取所述S2步骤的样本数据集，训练并更新神经网络，产生输出策略；

S4.收集所述S3步骤的所述输出策略，利用所述输出策略构建基于虚拟自博弈的联盟训练，将所述联盟训练结果用于更新智能体策略和对手池；

S5.停止训练后，输出最终策略。

2.如权利要求1所述的基于知识驱动的多智能体强化学习决策方法，其特征在于，步骤S1具体包括：

在强化学习初始阶段引入模仿学习，构建基于先验知识的智能体作为智能体博弈对抗训练的对手。

3.如权利要求2所述的基于知识驱动的多智能体强化学习决策方法，其特征在于，还包括：

所述模仿学习是引入生成对抗网络，采用基于生成对抗网络的模仿学习方法，从专家策略中学习，实现面向经验知识的模仿学习；

和/或引入生成对抗网络，采用基于生成对抗网络的模仿学习方法，使用重采样方法从各类失败样本中挖掘失败经验，实现面向教训知识的模仿学习。

4.如权利要求1所述的基于知识驱动的多智能体强化学习决策方法，其特征在于，步骤S2具体包括：

在强化学习过程中通过引入奖励函数塑形方法，利用相应知识引导强化学习和加速学习过程。

5.如权利要求4所述的基于知识驱动的多智能体强化学习决策方法，其特征在于，还包括：

所述奖励函数塑形方法包括利用历史经验知识，将作战经验进行形式化建模，并量化成经验统计量，基于所述经验统计量对奖励函数进行塑形；

和/或利用强化学习过程中不断产生的样本数据，使用监督学习方法从所述样本数据中挖掘对抗过程成功经验，基于所述成功经验对奖励函数进行塑形。

6.如权利要求3所述的基于知识驱动的多智能体强化学习决策方法，其特征在于，步骤S4具体包括：

收集所述S3步骤的所述输出策略，利用所述输出策略构建所述对手池，让所述对手池内部的策略个体之间相互对抗训练，重复上述构建对手池-对抗步骤，提升所述对手池内所述策略个体的水平，并利用所述策略个体更新所述智能体策略。

7.如权利要求6所述的基于知识驱动的多智能体强化学习决策方法，其特征在于，还包括：

所述对手池内部的所述策略个体至少分为主策略、联盟针对者、主策略针对者三类，其中所述主策略是正在训练的策略及其历史策略，所述联盟针对者是能打败所述对手池里所有所述策略个体的策略，所述主策略针对者是能打败所述主策略的策略；

所述基于先验知识的智能体通过所述模仿学习的方式生成所述联盟针对者策略的初始化策略个体和所述主策略针对者的初始化策略个体，并将上述的初始化策略个体加入所述对手池中；

在任何时刻所述主策略至多有1个正在进行所述相互对抗训练，在任何时刻所述联盟针对者策略至多有2个正在进行所述相互对抗训练，在任何时刻所述主策略针对者至多有1个正在进行所述相互对抗训练。