[发明专利]一种基于Deep Q-Learning的集群区域覆盖方法

说明书

本发明公开了一种基于Deep Q‑Learning的集群区域覆盖方法，包括以下步骤：建立集群系统的动力学模型；确定集群中智能体的邻居集合；建立集群系统的运动控制模型；对信息地图进行构造，并对信息地图进行编码；根据信息地图定义强化学习需要的状态空间、行为空间，回报函数；设计Deep Q‑Learning算法所需网络模型；设计自由区域下的Deep Q‑Learning区域覆盖算法；对得到的点按需调整，得到有障碍区域下的Deep Q‑Learning区域覆盖算法。本发明借助Deep Q‑Learning技术实现集群区域覆盖控制算法的训练与学习，实现自由区域和有障碍物区域下的集群区域覆盖，有效提高集群区域覆盖效率，同时能够保证在弱通信环境下算法的稳定性。

技术领域

本发明专利属于多智能体集群和Q-Learning领域，特别是涉及一种基于Deep Q-Learning的集群区域覆盖方法。

背景技术

人们对多智能体集群的想法来源于对自然界动物集群运动的观察和研究，例如鲨鱼们能够将鱼群赶到近海面再进行捕食，大雁群在迁移过程中通过维持特定的队形来减少空气的阻力等，是一种仿生学研究。随着近年来人工智能技术的兴起，对机器人、无人机、无人车等的智能控制成为了热门研究领域，并且取得了重大的进步。

集群区域覆盖具有很重要的应用和科研价值，例如对未知区域的探索、对目标区域的监视等。目前的集群区域覆盖方法缺乏对历史覆盖信息的有效利用，重复覆盖问题极大降低了算法的运行效率，因此提高区域覆盖算法的效率，在最短的时间内实现搜索区域的最大化，是多智能体集群搜索控制的一个重要研究方向。

Deep Q-Learning是一种用深度神经网络取代传统增强学习中的Q值表，对决策进行优化的算法。在复杂环境的集群区域覆盖过程中，多智能体可以利用深度神经网络学习状态和行为的特征，并选取策略对引导点进行规划。在Deep Q-Learning算法学习完成后，可得到最佳的引导点规划策略，从而实现集群对目标区域的快速覆盖。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于Deep Q-Learning的集群区域覆盖方法，实现自由区域和有障碍物区域下的集群区域覆盖，有效提高集群区域覆盖效率，同时能够保证在弱通信环境下算法的稳定性。

本发明的目的是通过以下技术方案来实现的：一种基于Deep Q-Learning的集群区域覆盖方法，包括以下步骤：

一种基于Deep Q-Learning的集群区域覆盖方法，包括以下步骤：

步骤S1、建立集群系统的动力学模型，集群V中包含n个智能体，v＝{1，2...，n}，集群中第i个智能体定义为agent i，其二阶动力学模型定义如下：

其中p_i为智能体agent i的位置，v_i为智能体agent i的速度，u_i为智能体agent i的加速度，n为集群中的智能体总数，和表示p_i、v_i相对时间求导；

步骤S2、确定集群中智能体的邻居集合，在集群中当两个智能体之间的距离小于通信距离时，认为两个智能体之间建立通信连接，并共享位置与速度，agent i的邻居智能体集合描述如下：

N_i＝{j∈V：||p_j-p_i||≤r_α，j≠i}

其中，V表示所有智能体的集合；r_α表示智能体之间的通信距离，||·||是欧式范数，p_i为智能体agent i的位置，p_j为智能体agent j的位置；