[发明专利]智能体实时路径规划方法、装置、设备及存储介质

说明书

本发明公开了一种智能体实时路径规划方法、装置、设备及存储介质，包括：获取智能体的当前位置和目标位置；根据所述当前位置及所述目标位置通过预设TSEB‑DDPG模型确定所述智能体的路径规划路线；根据所述路径规划路线控制所述智能体从所述当前位置移动至所述目标位置。由于本发明是根据智能体的当前位置及目标位置通过预设TSEB‑DDPG模型确定智能体的路径规划路线，根据路径规划路线控制智能体从当前位置移动到目标位置，解决了现有技术中采用的相关算法对智能体的实时路径规划精确度低的技术问题，提高了智能体实时路径规划的精确度。

技术领域

本发明涉及机器控制技术领域，尤其涉及一种智能体实时路径规划方法、装置、设备及存储介质。

背景技术

在现有的智能体实时路径规划技术中，当智能体已经获取到所有的环境信息，并且对于路径的获取没有太高的实时性要求时，可以采用HL-PSO算法来进行静态或者动态路径规划。但是当机器人对环境信息一无所知或者对环境信息虽然很清楚但是对于路径规划的实时性和精确度要求很高时，此时采用HL-PSO算法就不能很好地完成路径规划任务了。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种智能体实时路径规划方法、装置、设备及存储介质，旨在解决现有技术中对智能体的实时路径规划精确度低的技术问题。

为实现上述目的，本发明提供了一种智能体实时路径规划方法，所述方法包括以下步骤:

获取智能体的当前位置和目标位置；

根据所述当前位置及所述目标位置通过预设TSEB-DDPG模型确定所述智能体的路径规划路线；

根据所述路径规划路线控制所述智能体从所述当前位置移动至所述目标位置。

可选地，所述获取智能体的当前位置和目标位置步骤之前，所述方法还包括：

根据智能体的当前动作策略和预设探索噪声通过初始TSEB-DDPG模型控制所述智能体移动；

实时获取所述智能体移动过程中的经验信息，并将所述经验信息添加至经验缓冲池；

根据三阶梯采样机制实时从所述经验缓冲池中采集训练经验信息；

根据所述训练经验信息训练所述初始TSEB-DDPG模型，并在满足预设条件时，获得预设TSEB-DDPG模型。

可选地，所述经验缓冲池包括优秀轨迹经验缓冲池、碰撞轨迹经验缓冲池和实时轨迹经验缓冲池，所述根据三阶梯采样机制实时从所述经验缓冲池中采集训练经验信息，包括：

获取所述智能体移动过程中预设次数的平均奖励，并根据所述平均奖励确定训练阶段判断指标；

根据前后步进关系奖励机制确定所述智能体在移动过程中获得的当前奖励；

根据所述训练阶段判断指标、所述当前奖励和预设指标阈值判断所述智能体处于的训练阶段，并根据训练阶段确定各经验缓冲池的采样比例；

根据所述采样比例从所述优秀轨迹经验缓冲池、所述碰撞轨迹经验缓冲池和所述实时轨迹经验缓冲池中采集训练经验信息。

可选地，所述实时获取所述智能体移动过程中的经验信息，并将所述经验信息添加至经验缓冲池，包括：

实时获取所述智能体移动过程中的经验信息，并从所述经验信息中选取碰撞轨迹信息；

将所述碰撞轨迹信息添加至所述碰撞轨迹经验缓冲池，并将实时轨迹信息添加至所述实时轨迹经验缓冲池。

可选地，所述根据前后步进关系奖励机制确定所述智能体在移动过程中获得的当前奖励，包括：