[发明专利]一种基于Deep Q-Learning的集群区域覆盖方法

权利要求书

1.一种基于Deep Q-Learning的集群区域覆盖方法，其特征在于，包括以下步骤：

步骤S1、建立集群系统的动力学模型，集群V中包含n个智能体，v＝{1，2...，n}，集群中第i个智能体定义为agent i，其二阶动力学模型定义如下：

其中p_i为智能体agent i的位置，v_i为智能体agent i的速度，u_i为智能体agent i的加速度，n为集群中的智能体总数，和表示p_i、v_i相对时间求导；

步骤S2、确定集群中智能体的邻居集合，在集群中当两个智能体之间的距离小于通信距离时，认为两个智能体之间建立通信连接，并共享位置与速度，agent i的邻居智能体集合描述如下：

N_i＝{j∈V：||p_j-p_i||≤r_α，j≠i}

其中，V表示所有智能体的集合；r_α表示智能体之间的通信距离，||·||是欧式范数，p_i为智能体agent i的位置，p_j为智能体agent j的位置；

步骤S3、建立集群系统的运动控制模型，α-agent表示智能体，β-agent表示智能体探测到的障碍物，γ-agent表示智能体运动的目的地；根据α-agent、β-agent、γ-agent分别产生计算出agent i总的运动控制输入如下：

用于保证集群在运动过程中智能体间不会发生碰撞；

为当智能体在有障碍物的空间中运动时的避障控制量；

决定智能体的运动方向；

步骤S4、待遍历区域为M×L的矩形区域，将该区域量化为m×l个矩阵的γ-信息地图，每个量化后的矩阵中心对应一个引导点γ，将区域的完整搜索转换为信息地图中γ点的完全遍历，所有γ点构成了agent i的一个γ-信息地图集合，智能体agent i根据自身的信息地图集合及其邻居智能体的信息地图集合，完成信息地图集合的融合更新，得到agent i的γ-信息地图，并对信息地图进行编码；

步骤S5、根据γ-信息地图定义强化学习需要的状态空间、行为空间，回报函数；

步骤S6、设计Deep Q-Learning算法所需网络模型；

步骤S7、基于步骤S5、S6的结果设计自由区域下的Deep Q-Learning区域覆盖算法，确定智能体的行为选择策略，智能体通过行为选择策略与环境不断交互并产生经验信息，利用经验信息训练Deep Q-Learning网络；

步骤S8、设计有障碍物区域下的γ点位置调整策略，对步骤S7中Deep Q-Learning网络选取的γ点按需调整，得到有障碍区域下的Deep Q-Learning区域覆盖算法。