[发明专利]一种多智能体系统分层最优一致性控制方法和装置

说明书

本发明公开了一种多智能体系统分层最优一致性控制方法和装置，方法包括：建模具有分层结构和信息不对称性的多智能体系统，设计每个智能体的目标函数；基于斯塔克伯格‑纳什博弈和动态规划理论推导最优值函数和最优控制输入所满足的方程，设计值迭代强化学习算法迭代计算最优值函数和最优控制策略；利用基于神经网络的值函数逼近方法，给出强化学习算法的一种实现；基于强化学习算法的一种实现所确定的控制器实现多智能体系统分层最优一致性控制。本发明基于斯塔克伯格‑纳什博弈，能够实现智能体之间存在决策先后顺序情况下的最优一致性控制，并能够在系统动力学模型信息不完全已知的情况下获得较好的控制效果。

技术领域

本发明涉及多智能体协同控制技术领域，尤其涉及一种多智能体系统分层最优一致性控制方法和装置。

背景技术

过去的二十多年见证了多智能体系统协同控制研究的迅猛发展，众多学者从不同角度开展探索。多智能体系统的一致性控制问题是协同控制研究中的一个重要课题，它的主要目的是设计信息流动算法或者协议，从而规定节点间的信息交互方式以实现整体上关于某个特定量的一致。由此可见，一致性控制本质上是实现个体间的协作已完成整体目标。而在实际应用中，个体通常具有自私属性，即，个体希望在实现整体目标的同时优化自身性能指标(比如最小化自己的能量消耗、最大化自己的收益)，最优一致性控制问题由此产生，并受到越来越多的关注。

现有的最优一致性控制工作中，大多考虑所有个体同时地、独立地决策的情况，也就是说，大多假设个体均处于平等的地位。然而，在实际应用中，一些个体，称为主要智能体(major agent)，可能处于占优地位，他们掌握更多的信息，且能够先于其他个体采取行动；而其他个体，称为次要智能体(minor agents)，则处于从动地位，在观察到主要智能体的策略后，对该策略做出最优响应。比如，在公司制定生产计划时，意见的演化可以视为一个一致性过程，在此过程中，总经理首先给出指示，随后各部门主管据此采取对自己最有利的措施。我们将上述智能体之间存在决策先后顺序的一致性过程称为分层最优一致性。如何恰当的建模分层最优一致性问题中智能体之间的交互关系是一个重要的研究问题。

此外，传统的一致性控制器设计方法严重依赖于完整的系统动力学信息，而精确的系统动力学信息通常难以获取。如何充分利用系统与环境的交互，设计不依赖于完整的系统动力学信息的一致性控制器是一个亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种多智能体系统分层最优一致性控制方法，基于斯塔克伯格-纳什博弈，能够实现智能体之间存在决策先后顺序情况下的最优一致性控制，并能够在系统动力学模型信息不完全已知的情况下获得较好的控制效果。

本发明提供了一种多智能体系统分层最优一致性控制方法，包括：

建模具有分层结构和信息不对称性的多智能体系统；

设计每个智能体的目标函数；

基于斯塔克伯格-纳什博弈和动态规划理论推导最优值函数和最优控制输入所满足的方程；

设计值迭代强化学习算法迭代计算最优值函数和最优控制策略；

利用基于神经网络的值函数逼近方法，给出强化学习算法的一种实现；

基于强化学习算法的一种实现所确定的控制器实现多智能体系统分层最优一致性控制。

优选地，所述建模具有分层结构和信息不对称性的多智能体系统，包括：

设置多智能体系统的决策机制；

构建多智能体系统的动力学模型；

设置智能体间的通信关系。

优选地，所述设计每个智能体的目标函数，包括：

构造局部一致性误差；

设计主要智能体的性能指标；