[发明专利]离散时间下多智能体系统的一致性控制算法设计方法

说明书

本发明公开了一种离散时间下多智能体系统的一致性控制算法设计方法，包括以下步骤：S1、构造误差系统，将一致性问题转化为每个智能体局部邻域跟踪误差系统的最优控制问题；S2、为每个智能体的跟踪误差系统建立一个性能指标函数，并根据贝尔曼最优原理推导出离散时间的哈密顿‑雅可比‑贝尔曼方程；S3、引入一种用于离散时间下多智能体系统一致性的不需要允许的初始控制策略的值迭代算法；S4、构造Actor‑Critic网络以实时在线逼近值函数和最优控制策略。本发明简化了离散时间下多智能体系统一致性控制算法的设计，避免了分布式一致性控制算法的设计对智能体动力学模型以及全局拓扑信息的依赖，具有更好的灵活性。

技术领域

本发明属于多智能体一致性控制算法领域，具体涉及一种离散时间下多智能体系统的一致性控制算法设计方法。

背景技术

一致性控制算法的设计和稳定性分析也是网络化多自主体系统协同控制理论中的一个重要研究内容。多智能体系统的一致性指的是所有智能体通过一个合适的控制算法最终达到相同的状态。传统的一致性算法的研究大部分都是针对基于自主体动力学模型信息已知情况下的多智能体系统。一致性控制算法的稳定性主要由自主体自身动力学和自主体之间信息交换的网络拓扑结构两方面因素决定。然而，在实际工程中，由于现实世界中的系统网络越来越复杂，例如社交网络、计算机-路由器网络、交通网络、贸易网络、神经网络、基因网络、电力网络等多自主体网络，我们无法建立精确的数学模型。在智能体动力学模型信息未知情况下，不依赖模型动力学信息的多智能体系统的一致性控制算法在军、民领域都有很好的应用前景。

发明内容

发明目的：本发明提供一种离散时间下多智能体系统的一致性控制算法设计方法，简化了多智能体系统的一致性控制算法设计，避免了分布式一致性控制算法的设计对智能体动力学模型以及全局拓扑信息的依赖，具有更好的灵活性。

发明内容：本发明提出一种离散时间下多智能体系统的一致性控制算法设计方法，包括以下步骤：

S1、构造误差系统，将一致性问题转化为每个智能体局部邻域跟踪误差系统的最优控制问题；

S2、为每个智能体的跟踪误差系统建立一个性能指标函数，并根据贝尔曼最优原理推导出离散时间的哈密顿-雅可比-贝尔曼方程；

S3、引入一种用于离散时间下多智能体系统一致性的不需要允许的初始控制策略的值迭代算法；

S4、构造Actor-Critic网络以实时在线逼近值函数和最优控制策略。

具体的，所述步骤S1包括以下步骤：

S11、利用强化学习方法，将一致性问题转化为每个智能体的局部领域跟踪误差系统的最优控制问题，首先建立多智能体系统的动力学方程

x_i(k+1)＝Ax_i(k)+Bu_i(k)，i＝0，1，2，...，N，

其中表示个体的位置向量，表示个体的控制输入，A、B分别表示系统矩阵和输入矩阵；

S12、针对上述的系统，引入如下的误差变量

其中b_i代表领导者对跟随者的牵制增益，即如果个体i能够接收到领导者的信息，那么b_i＞0，否则b_i＝0；

在上述定义的误差变量的基础上定义全局误差变量，其形式为

全局位置状态变量和全局领导者状态变量定义为

S13、根据上述定义，可以得到全局误差的矩阵表示形式