[发明专利]一种多Agent围捕-觅食行为控制方法

说明书

本发明涉及一种多Agent围捕‑觅食行为控制方法，包括以下步骤：1)对多Agent和猎物当前所处位置形成的状态空间进行划分；2)设计奖赏函数；3)根据步骤1)划分的状态空间及步骤2)的奖赏函数进行强化学习，控制各Agent进行相应的原子动作，实现对猎物的围捕，在满足围捕成功条件时停止，达到觅食效果。与现有技术相比，本发明具有围捕效率高等优点。

技术领域

本发明涉及Agent围捕觅食技术，尤其是涉及一种多Agent围捕-觅食行为控制方法。

背景技术

多机器人系统作为分布式人工智能的一个非常重要的分支，具有容错性、鲁棒性强、分布性协调性等特点，近年来已成为人们广泛关注的热点。多机器人系统研究的主要问题包括群体结构、任务分配、通信方式、协作学习等。为了使得研究更具有在实际场景中的意义，研究者们集中对一些多机器人任务进行研究，包括编队协作、搜索、围捕等。

多机器人协作围捕是检验多机器人工作效率的有效方法之一。多机器人围捕过程就是利用三个或者三个以上的轮式机器人，首先协作寻找到环境中移动的一个目标机器人，然后通过运动过程中围在目标周围来达到围捕目标的目的，最后目标没有运行的出口后，任务结束。多机器人围捕可以称为Agent的觅食问题，即指机器人模仿生物体的一系列动作以达到觅食的效果。多机器人的围捕-觅食问题涉及到许多方面的内容，如机器人编队、状态空间的划分、机器人动作的划分、多机器人控制策略的结构。前人在研究多Agent系统的围捕问题时一般采用栅格法。栅格法将机器人的状态空间按位置进行划分，虽然划分简单易懂，然而由于其粗糙的离散化方式，使得其精度不高，另一方面，倘若加大离散化的精度，则会产生“维数灾难”。因此，有必要重新对状态空间进行划分，使用某种连续的策略来更好的表现机器人的围捕-觅食行为，同时减小状态空间的数量。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种多Agent围捕-觅食行为控制方法。

本发明的目的可以通过以下技术方案来实现：

一种多Agent围捕-觅食行为控制方法，包括以下步骤：

1)对多Agent和猎物当前所处位置形成的状态空间进行划分；

2)设计奖赏函数；

3)根据步骤1)划分的状态空间及步骤2)的奖赏函数进行强化学习，控制各Agent进行相应的原子动作，实现对猎物的围捕，在满足围捕成功条件时停止，达到觅食效果。

所述步骤1)中，对状态空间的划分具体为：

101)将n个Agent与猎物之间的角度进行划分；

102)将各Agent与猎物之间的距离进行离散分段。

所述将Agent与猎物之间的角度进行划分具体为：将两个Agent与猎物之间的夹角划分为如下表的10个状态

。

所述划分为非均匀状态划分，所述离散分段为非均匀划分。

所述步骤2)中，奖赏函数R为：

R＝a*J+rn

其中，J为角度奖赏，J＝G(θ)_left+G(θ)_right，G(θ)_left为某一Agent的左夹角θ_left对应的角度奖赏，G(θ)_right为该Agent的右夹角θ_right对应的角度奖赏，rn为距离奖赏，a为J与rn之间的相对重要程度系数。

每个角度θ对应的角度奖赏表达式为：

所述距离奖赏rn通过以下表格获取：