[发明专利]一种基于强化学习和好奇心的迷宫机器人路径规划方法

说明书

一种基于强化学习和好奇心的迷宫机器人路径规划方法，属于移动机器人技术领域。该模型以强化学习为基础，包括Q‑learning算法，好奇心算法，以及回溯强化。其中，好奇心算法包括一个BP网络，联想记忆网络和内部奖励三部分。算法首先感知所在节点以及状态；随后根据好奇心算法进行好奇心奖励计算，而后根据Q‑learning算法更新公式计算Q值；选择动作；发生状态转移；到达目的地后进行回溯强化；重复以上过程直至学习到最短路径。本发明引入基于预测误差的好奇机制，使得算法对未知环境有更好的探索能力，同时也降低了重复探索的次数，减少了学习过程中的寻路时间。使得机器人在迷宫中能更好更快地寻得最优解。

技术领域

本发明涉及一种基于强化学习和好奇心的迷宫机器人路径规划方法，属于移动机器人技术领域。

背景技术

移动机器人应用广泛，根据在工业、服务、军事等领域的不同，其所具备的能力和移动方式也不同。早期移动机器人主要代替人们解决现实问题，近年来，随着人工智能的普及和发展，移动机器人逐渐向更加智能的自学习、自控制方向发展，代替人类完成更加复杂的、不确定性的任务具有重要意义。

为了使得机器人更加智能，研究者们受生物学的启发，试图将生物的情感复制的到机器人身上，使得它们在面对学习任务时也同样具有生物类似的反应，从而达到智能水平。其中好奇心作为情感之一，促进学习的作用尤为突出。

基于以上背景，本发明以强化学习为框架，提出一种具有好奇心的迷宫机器人自主导航方法并设计了其学习算法，使得机器人在探索迷宫的过程中具有类似生物的探索过程。使得强化学习效率得到了提高。相关的专利如申请号CN201911001136.3提出了一种基于强化学习的移动机器人路径规划方法，其对改进后的A*方法进行预训练，并设置以路径长度为函数的强化学习奖励奖励函数，其没有涉及好奇心算法。申请号202110837144.2根据移动机器人的运动约束条件，利用RRT*算法生成多条可行路径，然后利用转弯特性函数计算每一可行路径的路径时间代价，并选取路径时间代价最小的可行路径作为移动机器人的规划路径。

2018年2019年北京理工大学的张家辉教授提出了一种基于好奇心的移动机器人路径规划方法，旨在用一种心理能量函数来指导机器人在导航任务中的学习方向。荷兰特文特大学的N.Botteghi提出了一个强化学习框架来导航、探索和映射未知环境。其运用SLAM算法估计机器人的姿态并绘制环境地图。引入好心驱动的奖励功能，引导移动机器人走向环境中未知的区域。

本发明使用强化学习为数学模型，动作选择上采用基于好奇心的内在奖励机制，能够学习到最优策略的同时有效的提高系统学习效率。目前，尚未见到与本发明相似的专利记录。

发明内容

本发明涉及一种基于强化学习和好奇心的迷宫机器人路径规划方法，属于移动机器人技术领域。

一、强化学习

采用Q-learning，将节点作为状态，即S＝{N_k|k＝1,2,3…n}。奖励设置如下：

其中，r^c为好奇心内在奖励；r为强化学习奖励。可选动作指相对于移动机器人第一次到达某一节点时，除回退动作之外的动作为可选动作。即，当下一节点无法转移到另一新节点，而只可回退到上一节点时，强化学习奖励r＝-100。

动作A＝{a|_ii＝1,2,3…p}，分别为将机器人正面朝向转到地图的东，西，南，北方向。

其中，Q值更新公式如下：

Q(N_k,a_i)＝(1-α)Q(N_k,a_i)+α[r+maxQ(N_k+1,a′)]