[发明专利]一种基于DQN的AGV全局路径规划方法和系统

说明书

本发明涉及一种基于DQN的AGV全局路径规划方法和系统，属于路径规划技术领域，解决了现有路径规划方法消耗时间长并且路径规划结构不准确的问题。该方法包括：基于感知到的仓储环境信息构建栅格边长为p的二维栅格地图的模拟环境，其中，仓储环境信息包括障碍物、AGV的起点、AGV的当前位置及AGV的终点位置；扩充AGV在二维栅格地图中下一步采取的动作集；设置连续合理的奖励函数以区别AGV在二维栅格地图中每个栅格处获取的奖励值；以及设计最优路径判别条件并根据最优路径判别条件在AGV运行完指定循环后，输出最优路径。结合增加的AGV运动方向，修改最优路径判别条件能够有效提升路径规划的准确率。通过设置连续合理的奖励函数能够提升路径规划的效率。

技术领域

本发明涉及路径规划技术领域，尤其涉及一种基于DQN的AGV全局路径规划方法和系统。

背景技术

随着智能仓储技术的发展，仓库中货物的起重、运输、卸包、装包等日常工作都可以交给AGV（移动机器人）完成，可提升仓库中货品的存取效率。合理的路径规划可以提升AGV的工作效率，降低AGV的故障发生率。现有的路径规划算法主要包括：基于传统图论的Dijkstra算法、A*算法；蚁群、粒子群、遗传等仿生学算法。上述算法存在易陷入局部最优等缺陷，难以应对复杂的仓储环境。

在已知仓储环境中，利用DQN（即，深度Q网络）进行全局路径规划是近年来出现的新方法，可以有效避免出现局部最优情况。在仓储环境的栅格图下，采用传统DQN进行路径规划，会出现路径规划过程消耗时间长、路径规划结果不准确的问题。其中，时间长是因为AGV行驶得到的奖励反馈不明显，需要进行更多的“试错”；结果不准确是因为给予AGV选择方向不多，且路径判别条件不够准确。

发明内容

鉴于上述的分析，本发明实施例旨在提供一种基于DQN的AGV全局路径规划方法和系统，用以解决现有路径规划方法消耗时间长并且路径规划结构不准确的问题。

一方面，本发明实施例提供了一种基于DQN的AGV全局路径规划方法，包括：基于感知到的仓储环境信息构建栅格边长为p的二维栅格地图的模拟环境，其中，所述仓储环境信息包括障碍物位置、所述AGV的起点、所述AGV的当前位置及所述AGV的终点位置；扩充所述AGV在所述二维栅格地图中下一步采取的动作集；设置连续合理的奖励函数以区别所述AGV在所述二维栅格地图中每个栅格处获取的奖励值；以及设计最优路径判别条件并根据所述最优路径判别条件在所述AGV运行完指定循环后，输出最优路径。

上述技术方案的有益效果如下：本申请通过将传统DQN在栅格图中下一步能采取的动作由4个扩充为8个，能够增加路径规划的准确性，扩充AGV动作集。通过设置连续合理的奖励函数reward，能够保证AGV在每一个栅格获取奖励值的区别，减少AGV无效探索的时间，能够缩短基于DQN的AGV全局路径规划时间，提升路径规划的效率。结合增加的AGV运动方向，修改最优路径判别条件能够有效提升路径规划的准确率。

基于上述方法的进一步改进，扩充所述AGV在所述二维栅格地图中下一步采取的动作集进一步包括：将上、下、左、右4个方向的动作集扩充为上、下、左、右、左上、右上、左下、右下8个方向的动作集；以及所述AGV通过执行扩充的动作集中的动作到达所述二维栅格地图中的8个临近栅格中的一个。

基于上述方法的进一步改进，所述AGV通过执行扩充的动作集中的动作到达所述二维栅格地图中的8个临近栅格中的一个进一步包括：所述AGV在所述当前位置坐标通过执行动作a到达所述二维栅格地图中的邻近位置坐标：