[发明专利]一种无人艇集群运行信息智能同步方法及系统

说明书

本发明涉及一种无人艇集群运行信息智能同步方法及系统，所述方法包括：建立无人艇集群的多智能体MDP离散时间模型；根据所述多智能体MDP离散时间模型，确定最优动作策略；按照所述最优动作策略，对多智能体进行一致性控制。最终构建的无人艇集群运行信息智能同步系统以实现集群的协同控制为构建目的，实现对无人艇集群的一致性控制，最终实现无人艇集群中无人艇之间的数据资源共享，有利于最大程度发挥无人艇集群执行群体任务的能力和优势。

技术领域

本发明涉及无人艇技术领域，具体涉及一种无人艇集群运行信息智能同步方法及系统。

背景技术

随着无人艇应用场景的不断扩大和执行任务的复杂化，单艘无人艇执行任务已经很难满足任务需求，而往往需要无人艇集群出动，协同完成出航任务。这就需要将无人艇控制系统推广到多无人艇集群。

目前，无人艇集群控制大多采用预定程序控制或集中式的地面控制，这种场景中无人艇集群的群体优势就无法完全发挥。而构建无人艇集群则是对其控制系统的高阶功能需求，是当前大环境和主流研究趋势下，无人艇应当具备的高级特性，即无人艇控制系统不仅可以完成单独行动任务，也应当可以随时与其他无人艇个体交互信息，进而构成无人艇任务集群。因此，就要求无人艇控制系统能够对集群构建和多艇协作提供技术支撑和理论支持，使得无人艇集群信息共享和协同执行任务成为可能。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种无人艇集群运行信息智能同步方法及系统，本发明能够满足在无人艇集群中无人艇之间的数据资源共享，有利于最大程度发挥无人艇集群执行群体任务的能力和优势，同时也可以为无人艇集群体系提供了群体控制和数据共享的技术基础。

为实现以上目的，本发明采用如下技术方案：一种无人艇集群运行信息智能同步方法，包括：

建立无人艇集群的多智能体MDP离散时间模型；

根据所述多智能体MDP离散时间模型，确定最优动作策略；

按照所述最优动作策略，对多智能体进行一致性控制。

可选的，所述根据所述多智能体MDP离散时间模型，确定最优动作策略，包括：

采用结合势博弈理论的CQL算法，以智能体获取联合回报期望的最大值作为目标，自主学习迭代动作价值函数，以得到收敛的Q表，Q表为最优动作策略。

可选的，所述建立无人艇集群的多智能体MDP离散时间模型，包括：

智能体与环境交互，根据从环境中受到的奖罚来学习规则，以概率转移函数表示交互结果，并通过回报函数表示奖惩；

集群中的智能体组通过尝试各种动作来最大化所有智能体的回报函数的期望值之和，价值函数为：

式(1)中，为智能体i在离散时间中未来j步的奖励；β为折扣因子；π为智能体的策略，表示基于状态S所选择的动作a；n为集群中智能体个体总数；

如果一组智能体采用联合策略π₁,π₂,π₃...π_n，那么动作价值函数Q函数的迭代公式定义为：

式(2)中，s′为后一时刻状态；a′为后一时刻状态下智能体所选择的动作。

可选的，集群中的智能体组通过尝试各种动作来最大化所有智能体的回报函数的期望值之和，迭代寻找满足多智能体的Q值收敛的期望均衡点。

可选的，当为多智能体的Q值收敛的期望均衡点时，对应的该组策略是最佳策略，对于智能体i在任意状态s下获得的收敛的Q值表示为：