[发明专利]一种无人艇集群运行信息智能同步方法及系统

权利要求书

1.一种无人艇集群运行信息智能同步方法，其特征在于，包括：

建立无人艇集群的多智能体MDP离散时间模型；

根据所述多智能体MDP离散时间模型，确定最优动作策略；

按照所述最优动作策略，对多智能体进行一致性控制。

2.根据权利要求1所述的方法，其特征在于，所述根据所述多智能体MDP离散时间模型，确定最优动作策略，包括：

采用结合势博弈理论的CQL算法，以智能体获取联合回报期望的最大值作为目标，自主学习迭代动作价值函数，以得到收敛的Q表，Q表为最优动作策略。

3.根据权利要求2所述的方法，其特征在于，所述建立无人艇集群的多智能体MDP离散时间模型，包括：

智能体与环境交互，根据从环境中受到的奖罚来学习规则，以概率转移函数表示交互结果，并通过回报函数表示奖惩；

集群中的智能体组通过尝试各种动作来最大化所有智能体的回报函数的期望值之和，价值函数为：

式(1)中，为智能体i在离散时间中未来j步的奖励；β为折扣因子；π为智能体的策略，表示基于状态S所选择的动作a；n为集群中智能体个体总数；

如果一组智能体采用联合策略π₁,π₂,π₃...π_n，那么动作价值函数Q函数的迭代公式定义为：

式(2)中，s′为后一时刻状态；a′为后一时刻状态下智能体所选择的动作。

4.根据权利要求3所述的方法，其特征在于，

集群中的智能体组通过尝试各种动作来最大化所有智能体的回报函数的期望值之和，迭代寻找满足多智能体的Q值收敛的期望均衡点。

5.根据权利要求4所述的方法，其特征在于，

当为多智能体的Q值收敛的期望均衡点时，对应的该组策略是最佳策略，对于智能体i在任意状态s下获得的收敛的Q值表示为：

将满足对于其他智能体的Q值同样收敛的条件

6.根据权利要求5所述的方法，其特征在于，所述迭代寻找满足多智能体的Q值收敛的期望均衡点，包括：

在CQL算法中应用势博弈理论的方法，将每个智能体不同策略下Q值的改变视为个体效用函数，并将它们映射到一个全局势函数上，使个体效用函数与全局势函数的单调性一致；

当势函数取得最大值时，所有智能体都达到了各自效用的最大值，得到满足多智能体的Q值收敛的期望均衡点。

7.根据权利要求6所述的方法，其特征在于，所述迭代寻找满足多智能体的Q值收敛的期望均衡点，具体包括：

在拥有n个智能体集合p的一致问题中，每个智能体p_i∈p同样拥有状态集S_i及对应的动作集A_i，那么其一致性个体效用函数U_i(S,A)通过学习过程中的Q函数定义为：

对应的全局一致性势函数表示为：

若智能体p_i在同一状态下选择动作而不是动作其目标函数的变化满足了势博弈的单调性要求；

Q值的迭代公式中策略π对应的智能体i的动作，需要满足个体效用函数U_i(S,A)与全局势函数φ(S,A)最大的条件，该条件为：

在每次Q值迭代过程中，智能体i只须获取其他智能体的Q表，根据自己的状态S_t计算个体效用函数值，并选择对应最大值的动作a_t作为输出执行，进入下一次迭代，这样最终获得的Q值收敛值能够使所有智能体Q值的和最大。