[发明专利]基于强化学习算法的多智能体系统协同控制方法及系统

权利要求书

1.基于强化学习算法的多智能体系统协同控制方法，其特征在于，包括：

根据多智能体系统的网络拓扑结构构建动态图博弈模型，根据动态图博弈模型构建值函数，采用值函数作为多智能体系统的性能指标；

采用第一神经网络拟合每个智能体的值函数，采用第二神经网络拟合每个智能体的控制策略；

基于强化学习算法对值函数和控制策略进行在线迭代，采用梯度下降法更新第一和第二神经网络的参数，直至收敛获得达到纳什均衡下的最优值函数，此时系统实现协同控制。

2.如权利要求1所述的多智能体系统协同控制方法，其特征在于，所述基于强化学习算法对值函数和控制策略进行在线迭代步骤包括：

初始化神经网络的参数矩阵和智能体的状态轨迹；

获取智能体的状态轨迹控制输入的近似值，将近似值输入多智能体系统获取在线运行状态下的输出值和状态值，并更新多智能体系统的状态轨迹；

根据更新的状态轨迹和第一神经网络的权重矩阵计算值函数，并更新第一和第二神经网络的参数矩阵，同时采用梯度下降法更新第一和第二神经网络的参数；

若值函数收敛，则输出达到纳什均衡的最优逼近值，若值函数未收敛则重新获取智能体的状态轨迹控制输入的近似值。

3.如权利要求1所述的多智能体系统协同控制方法，其特征在于，所述初始化神经网络的参数矩阵和智能体的状态轨迹包括，随机初始化第二神经网络的参数矩阵，给第一神经网络参数矩阵赋初始值；初始化智能体的状态轨迹。

4.如权利要求1所述的多智能体系统协同控制方法，其特征在于，所述值函数为其中Z_ik是多智能体系统的状态轨迹，W_ci是本次迭代中第一神经网络的权重矩阵。

5.如权利要求1所述的多智能体系统协同控制方法，其特征在于，所述采用梯度下降法更新神经网络的参数，公式为Z_ik是多智能体系统的状态轨迹，表示本次迭代中的目标值函数。

6.如权利要求1所述的多智能体系统协同控制方法，其特征在于，所述采用梯度下降法更新行动者神经网络的参数公式为：是本次迭代的控制策略，表示本次迭代中的目标控制策略。

7.如权利要求1所述的多智能体系统协同控制方法，其特征在于，所述根据多智能体系统的网络拓扑结构构建动态图博弈模型包括，研究的智能体系统包含N个智能体，每个智能体的动力学方程为：

x_i(k+1)＝Ax_i(k)+B_iu_i(k),i∈N；

其中x_i(k)∈Rⁿ是智能体i的状态，是智能体i的输入。

8.基于强化学习算法的多智能体系统协同控制系统，其特征在于，包括：

多智能体系统构建模块，用于建立多智能体系统，根据多智能体系统的网络拓扑结构构建动态图博弈模型，根据动态图博弈模型构建值函数，采用值函数作为多智能体系统的性能指标；

神经网络构建模块，用于采用第一神经网络拟合每个智能体的值函数，采用第二神经网络拟合每个智能体的控制策略；

数据处理模块，用于基于强化学习算法对值函数和控制策略进行在线迭代，采用梯度下降法更新第一和第二神经网络的参数，直至收敛获得达到纳什均衡的最优逼近值；

协同控制模块，用于根据最优逼近值对多智能体系统进行协同控制。

9.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时，完成如权利要求1-7任一所述的基于强化学习算法的多智能体系统协同控制方法。

10.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如权利要求1-7任一所述的基于强化学习算法的多智能体系统协同控制方法。