[发明专利]一种基于深度强化学习的移动机器人路径规划方法

说明书

本发明提出一种基于深度强化学习的移动机器人路径规划方法，包括以下步骤：基于全卷积残余网络获取深度图像；感知前方区域是否存在障碍物；使用深度强化学习算法规划避开障碍物的路径；驱动机器人行进直到避开障碍物；基于FastSLAM绘制二维的局部环境地图；重复上述步骤直到抵达最终目的地。本方法解决了传统SLAM技术缺乏在复杂的未知环境中无法自主规划路径的问题，同时提出了一种高效构建环境地图的解决方案，且提高了避障行为的准确性、高效性。

技术领域

本发明涉及移动机器人导航技术领域，特别是一种基于深度强化学习的移动机器人路径规划方法。

背景技术

移动机器人在一个未知的复杂环境中实时地进行路径规划和自主地导航是一项非常重要的研究课题。这项任务需要面对三个主要的问题：定位、建图和路径规划。在过去的几十年里，人们对实时定位和SLAM进行了充分的研究，对路径规划问题提出了几种解决方案。现在，移动机器人可以在离线状态下从起点移动到终点，或者可以在不同的场景下自主地采取适当的策略。

然而，与SLAM相结合的路径规划仍存在技术难点。机器人可以自主地遵循预先编程的路径，或者依靠传统的SLAM方法由用户手动控制。在移动机器人的运动过程中，机器人的运动路径是提前设计好的，从其自身的传感器获得的实时数据仅仅被用于定位，这并不代表机器人能够实时地自主地规划路线。

另一方面，路径规划的主要目标是避开障碍物。在一个未知的环境中障碍物既有动态的，也有静态的。动态障碍物运动状态是变化的，这意味着在复杂环境中，移动机器人要同时兼顾定位、建图和路径规划的任务。这便要求机器人需要在没有任何外部监督的情况下应对真实环境。

因此，需要一种具有实时性、高效性，同时保证准确性、通用性的路径规划方法。

发明内容

为解决上述背景技术中提出的问题，本发明的目的在于提供一种基于深度强化学习的移动机器人路径规划方法，以保证移动机器人避障的实时性，具备构建环境地图的实时性。

为实现上述目的，本发明采用的技术方案如下：

本发明提供了一种基于深度强化学习的移动机器人路径规划方法，包括以下步骤：

S101：基于全卷积残余网络(FCRN)获取深度图像，对障碍物进行识别，同时，在本步骤中获取机器人当前位置、环境信息；

S102：判断前方区域是否存在障碍物，若判定为是，则执行S105，若判定为否，则执行S103；

S103：如果前方不存在障碍物，那么向前驶达局部目标点，并基于FastSLAM算法确定当前位置；

S105：如果前方存在障碍物，则基于深度强化学习进行路径规划；

S106：依据规划输出执行避障策略，并基于FastSLAM算法确定当前位置。

S107：判断是否到达路径规划后的预期位置，若已到达预期位置，则执行步骤S104，若未到达预期位置，则执行步骤S106；

S104：判定是否到达目的地，若未到达目的地，则回到步骤S101，若到达目的地，则结束。

本发明的进一步改进在于，路径规划基于深度强化学习来实现：

基于强化学习使用以下式1更新Q表；

Q(s，a；θ)≈Q′(s，a) (1)

s：机器人的状态；

a：机器人的行为；

θ：常数；

进一步的，本发明使用深度神经网络D3QN模型规划避免障碍的路径，在对复杂特征的提取中，高维和连续的情况下具有更高的性能。