[发明专利]基于多智能体深度强化学习的无人机集群动态覆盖方法

说明书

本发明公开了一种基于多智能体深度强化学习的无人机集群动态覆盖方法，首先，使用覆盖能量和覆盖功率概念对任务进行建模；其次，根据连通保持的要求设置相应的连通约束力，基于此设计集中式动作矫正器，该矫正器只在训练时起作用，用于保证连通和生成正负样本；最后，配合多智能体强化学习算法对模型进行训练，在执行时去除集中式动作矫正器，从而实现连通性保持的动态覆盖。

技术领域

本发明属于无人机集群动态覆盖控制技术领域，更为具体地讲，涉及一种基于多智能体深度强化学习的无人机集群动态覆盖方法。

背景技术

近年来，随着物联网技术和通信技术的发展，无人机集群的应用场景越发广泛。无人机集群是指由一组具有数据采集和信息处理功能的无人机所组成的多智能体系统。这些无人机可以通过通信来协调彼此的行动，从而完成单架无人机所不能完成的任务。无人机集群凭借其对于高风险和高污染环境的高耐受力，被越来越多地用于执行动态覆盖控制任务。典型的动态覆盖控制任务包括航空勘测、目标监视、灾情侦察等，其在工业、民用甚至军事领域都具有光明的前景和突出的研究价值。

然而，无人机集群的应用给系统带来的机动性的同时，也带来了通信网络的连通性保持方面的挑战。集群的连通性取决于集群中的个体之间能否建立直接或者间接的信息通道来协调行动。连通性保持作为集群信息交互的基础，是指如何规划集群的轨迹使之在运动中依旧保持连通。一方面，受到硬件平台和功能设计的限制，无人机的通信范围有限，连通保持本就较为复杂；另一方面，动态覆盖会使集群在空间中分散以实现对于任务空间的全面覆盖，连通性保持会限制集群扩展来保持通信连通，二者在动力学行为上相反且矛盾的表现使得连通保持约束下的集群动态覆盖任务更为复杂。在动态覆盖领域中，借助多智能体深度强化学习算法，现有方法通过对造成集群失去连通的驱动力施加惩罚，促使模型输出的驱动力向着保持集群连通的方向优化，然而，仅施加惩罚并不能保证训练时的集群连通，并且存在奖励稀疏的问题，模型不容易收敛。针对上述不足，本发明提出一种基于多智能体深度强化学习的无人机集群动态覆盖方法，通过引入动作矫正器，对使集群丢失连通的驱动力进行修正，可保证集群训练时的连通性，同时解决了奖励稀疏的问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于多智能体深度强化学习的无人机集群动态覆盖方法，基于连通性规则并配合多智能体深度强化学习，使得无人机集群可以在执行任务时自主实现连通保持和动态覆盖。

为实现上述发明目的，本发明一种基于多智能体深度强化学习的无人机集群动态覆盖方法，其特征在于，包括以下步骤：

(1)、搭建无人机集群动态覆盖目标区域模型；

在二维空间上设置M个待覆盖的目标点，使用集合表示，其中p_j表示第j个目标点的位置坐标；设执行任务的无人机集群共有N架无人机，使用集合表示，用表示第i架无人机在t时刻的位置，用表示第i架无人机在t时刻的速度；

(2)、搭建无人机动力学模型；

设t时刻第i架无人机以驱动力作为控制输入，其中，分别表示t时刻从右、左、上、下四个方向施加到第i架无人机的驱动力；

建立第i架无人机的动力学模型：

其中，表示t时刻第i架无人机的加速度，η为比例系数，m为无人机的质量；无人机t+1时刻位置与速度的更新迭代公式为：

其中，Δt表示时间间隔；

(3)、搭建无人机集群的动态覆盖模型；

(3.1)、定义t时刻第i架无人机的观测信息

其中，表示每个目标点所需的覆盖能量，表示在[0,t]内第j个目标点接受到的覆盖能量；