[发明专利]一种基于强化学习的AGV路径规划方法及系统

说明书

本发明提出一种基于强化学习的AGV路径规划方法及系统，解决了现有基于强化学习的AGV路径规划方法需消耗大量时间和算力成本的问题，首先构建AGV动力学模型，以AGV为智能体，其行驶所感知到的环境信息为状态信息，考虑目的地位置、障碍物位置设计状态空间，以及设计连续性动作空间、多重奖励机制；结合状态空间、连续性动作空间及多重奖励机制，完成路径规划的马尔科夫过程建模，其中状态空间可给定任意不同起始点、目标点、任意位置障碍物，可泛化性高，然后引入Actor‑Critic框架，进行策略学习训练，在线运行避免了计算量大的问题，算力要求低，实现AGV对任意目标、障碍物的实时决策控制。

技术领域

本发明涉及AGV路径规划的技术领域，更具体地，涉及一种基于强化学习的AGV路径规划方法及系统。

背景技术

无人搬运车(Automated Guided Vehicle，简称AGV)，指装备有电磁或光学等自动导引装置，能够沿规定的导引路径行驶，具有安全保护以及各种移载功能的运输车，工业应用中不需驾驶员的搬运车，以可充电的蓄电池为其动力来源。

AGV按其控制方式和自主程度大致可分为遥控式、半自主式与自主式三种，基于多磁轨式的导航是AGV最早采用的路径规划方法，同时也是当前AGV大部分路径规划所采用的方法。传统应用中的AGV通过识别铺设在地面的磁轨道确定行进路线，但是这种方法受限于磁轨的不灵活性，扩充路径相对复杂；视觉+二维码式导航也是当前AGV领域应用较多的导航方式，AGV通过识别粘贴在地面上的有间隔的具有唯一性的二维码，获得二维码信息来确定位置和行进路线，这种方式相比于磁轨式，行动更为灵活，易于调度，但是存在着标识易磨损、环境光要求高等问题；激光SLAM式导航是通过AGV发射激光信号，再通过墙壁或立柱上设置的反光板反射回来的信号来确定位置，这种方式能克服以上两种方式的缺点，但是存在着制图时间久、成本高等问题。

自2015年Deepmind提出的DQN方法，开启了强化学习与深度学习结合的先河，现深度强化学习方法直接利用图像信息作为状态输入，从而进行无人车的路径规划是目前在路径规划领域的前沿研究方向，如2020年4月24日，中国发明专利(公布号：CN111061277A)中公开了一种无人车全局路径规划方法和装置，首先，通过强化学习方法建立对象模型，其中对象模型中包括：无人车状态、采用地图图片进行描述的环境状态、以及路径规划结果的评估指标；然后，基于对象模型，搭建深度强化学习神经网络，并利用无人车状态和地图图片对深度强化学习神经网络进行训练，得到稳定的神经网络模型，该专利通过对象模型中的地图图片标识场景中的环境信息，以任务场景的地图图片和无人车状态作为路径规划的输入，提高路径规划的准确率和效率，但是图像作为一种高维信息，并且基于视觉的避障往往有涉及深度摄像机采集的点云数据以及状态维度的大幅扩增，因此，基于卷积神经网络的各类深度学习模型训练成本也随之大幅上升，例如消耗大量的时间成本以及算力成本等。

发明内容

为解决现有基于强化学习的AGV路径规划方法需消耗大量时间和算力成本的问题，本发明提出一种易于工程实现、成本低廉的AGV路径规划方法及系统。

为了达到上述技术效果，本发明的技术方案如下：

一种基于强化学习的AGV路径规划方法，至少包括：

S1.构建AGV动力学模型，设置前向差分更新步长，基于前向差分更新步长及AGV动力学模型确定AGV的基本状态更新表达式；

S2.以AGV为智能体，AGV行驶所感知到的环境信息为状态信息，考虑目的地位置、障碍物位置设计状态空间，以及设计连续性动作空间、多重奖励机制；

S3.根据AGV动力学模型及AGV的基本状态更新表达式，结合状态空间、连续性动作空间及多重奖励机制，完成AGV路径规划的马尔科夫过程建模；