[发明专利]机器人路径导航方法、系统、设备及存储介质

说明书

本公开公开了机器人路径导航方法、系统、设备及存储介质，获取机器人状态信息、障碍物信息以及目标位置信息；将获取的信息输入到训练后的DDPG网络模型中，得到机器人路径导航结果；根据导航结果，完成机器人路径导航；DDPG网络模型的奖励值通过奖励函数来计算，所述奖励函数中包含欧式距离与余弦距离的差值；通过余弦距离与欧氏距离结合，可以指导机器人找到从初始位置到目标位置的最优或近似最优路径。

技术领域

本公开涉及机器人路径导航技术领域，特别是涉及机器人路径导航方法、系统、设备及存储介质。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

通过在传统机器人中安置传感器，机器人可以感知环境信息来判断自身的状态。实现了机器人通过与环境交互完成自主运动。随着机器人在人们生活中应用越来越广泛，机器人的路径导航问题变得越来越重要。

作为智能机器人研究的主要部分，机器人的路径导航问题就是实现机器人在充满障碍的环境中找到一条从起始位置到目标位置的最佳或最优无碰撞路径。近些年来，有许多算法被提出用来解决路径导航问题。早期提出来的算法有模拟退火算法、人工势场法等。其中人工势场法在环境中引入了人工力场，具体做法是障碍物对机器人施加排斥力，目标位置对机器人施加引力，产生的合力决定了机器人的运动方向和速度，但是这种做法也存在缺陷，特别是当排斥力与引力相同时，机器人便很难找到合适的运动方向和速度。这些传统方法由于其需要提前配置环境信息，而随着机器人所面对的环境越来越复杂，这些方法显然不适用了。深度强化学习结合了深度神经网络和强化学习被广泛适用于机器人路径导航。深度去强化学习结合了深度神经网络算法的强大的拟合功能和强化学习的决策能力，在机器人导航领域表现出较好的效果。其中深度确定性策略梯度算法Deep DeterministicPolicy Gradient(DDPG)作为深度强化学习的改进，机器人为了获得最大的奖励价值，通过与环境的不断交互来了解状态信息并作出决策。

然而，DDPG在运用到机器人路径导航领域中时，存在许多问题和挑战，算法在使用时通常学习和训练效率不高，且难收敛。DDPG算法采用的是双演员-评论家(Actor-Critic)模式，实时策略(online_Actor)网络需要根据状态预测相应的动作，实时Q(online_Critic)网络则对演员网络生成的策略通过Q值进行评判，这些数据被送到深度神经网络利用梯度的反向传播不断地更新参数，目标策略(target_Actor)网络和目标Q(target_Critic)网络通过软更新的方式相隔一定时间间隔从实时网络拷贝参数。Q值预测的准确度对整个网络的性能来说是一个至关重要的地方。另外，DDPG需要奖励函数来生成对应策略的奖励值R。奖励函数设置的优劣也在一定程度上决定了DDPG算法的好坏。

发明人发现，现有的机器人路径导航方法对机器人的运动方向和运动速度控制的都不是很精确。

发明内容

为了解决现有技术的不足，本公开提供了机器人路径导航方法、系统、设备及存储介质；为了提升上述提到的Q网络预测Q值的准确性，本发明提出了将决斗(dueling)网络与DDPG算法的双网络模型相结合的预测模型，将Q值的预测分为两部分：对状态的Q值预测和对在相应状态下做出相应动作的Q值预测，实验表明基于dueling网络的DDPG算法在机器人导航问题上有很好的效果。另外针对机器人路径导航的特点，我们将余弦距离引入奖励函数，提出了结合余弦距离和欧氏距离相结合的奖励函数，同时对机器人运动的方向和速度进行控制。

第一方面，本公开提供了机器人路径导航方法；

机器人路径导航方法，包括：

获取机器人状态信息、障碍物信息以及目标位置信息；

将获取的信息输入到训练后的DDPG网络模型中，得到机器人路径导航结果；根据导航结果，完成机器人路径导航；

其中，DDPG网络模型通过dueling网络来计算Q值；