[发明专利]一种基于强化学习的多智能体覆盖方法

说明书

本发明公开了一种基于强化学习的多智能体覆盖方法，包括：以最大化覆盖性能为目标，确定多个静止智能体在区域中的位置，并根据静止智能体的位置将区域划分为已有效覆盖区域和未有效覆盖区域；计算移动智能体能够获得的最大覆盖性能；设置移动智能体的观察和动作，并基于移动智能体能够获得的最大覆盖性能设置移动智能体的奖励；各移动智能体以最大化各自奖励函数为目标，基于强化学习算法，多个移动智能体同时与环境交互，进行分布式训练，得到各移动智能体的运动规划，实现对未有效覆盖区域的覆盖。本发明技术方案可实现多智能体协作完成区域的有效覆盖，并提高区域的覆盖性能。

技术领域

本发明涉及多智能体系统覆盖优化技术领域，特别涉及一种基于强化学习的多智能体覆盖方法。

背景技术

随着计算机与微机电系统，机器人技术与通信技术的快速发展，多智能体系统越来越受到人们的关注并被应用到覆盖等多个领域。多智能体区域覆盖是指多个智能体组成一个队伍，通过合作策略有效的覆盖整个区域。多个智能体协同进行区域覆盖任务，不仅可更有效率的完成目标任务，还可克服单个智能体传感器的数量和角度的限制，并具有冗余特点。目前，虽有方案可解决多智能体对区域的全覆盖问题，但是其并不能实现有效覆盖的同时，提高覆盖性能。

发明内容

本发明提供了一种基于强化学习的多智能体覆盖方法，以快速实现区域的有效覆盖，并提高区域覆盖性能。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种基于强化学习的多智能体覆盖方法，所述多智能体包括多个静止智能体和多个移动智能体，所述多智能体覆盖方法包括：

以最大化覆盖性能为目标，确定多个静止智能体在区域中的位置，并根据所述静止智能体的位置将所述区域划分为已有效覆盖区域和未有效覆盖区域；

计算移动智能体能够获得的最大覆盖性能；

设置每一移动智能体对环境的观察和动作，并基于移动智能体能够获得的最大覆盖性能设置移动智能体的奖励；每个移动智能体以最大化各自的奖励函数为目标，基于强化学习算法，多个移动智能体同时与环境交互，进行分布式训练，得到各移动智能体的运动规划，实现对未有效覆盖区域的覆盖。

进一步地，所述以最大化覆盖性能为目标，确定多个静止智能体在区域中的位置，包括：

调整多个静止智能体在区域中的位置，使得覆盖性能尽可能的大。

进一步地，所述覆盖性能的计算函数H(S)如下：

H(S)＝∫R(x)P(x,S)dx

其中，P(x,S)为多智能体在区域中点x处的联合侦测概率，p_i(x,s_i)为第i个智能体的侦测概率，N为智能体个数，R(x)为事件密度函数。

进一步地，在将所述区域划分为已有效覆盖区域和未有效覆盖区域时，判断区域中一点x是否已有效覆盖的依据为多智能体在x处的联合侦测概率P(x,S)是否大于预设阈值，当P(x,S)大于预设阈值时，表示x处已有效覆盖，否则，x处未有效覆盖。

进一步地，所述移动智能体对环境的观察为三幅二值图像；其中，

第一幅二值图像表示出当前仍未有效覆盖的区域；

第二幅二值图像表示出当前移动智能体的位置；

第三幅二值图像表示出除当前移动智能体外的其它移动智能体的位置。

进一步地，所述移动智能体的动作集合为{0，1，2，3，4}，分别表示移动智能体静止，移动智能体上移，移动智能体下移，移动智能体左移以及移动智能体右移。

进一步地，环境对移动智能体的奖励Reward为：