[发明专利]智能体实时路径规划方法、装置、设备及存储介质

权利要求书

1.一种智能体实时路径规划方法，其特征在于，所述方法包括：

获取智能体的当前位置和目标位置；

根据所述当前位置及所述目标位置通过预设TSEB-DDPG模型确定所述智能体的路径规划路线；

根据所述路径规划路线控制所述智能体从所述当前位置移动至所述目标位置。

2.如权利要求1所述的方法，其特征在于，所述获取智能体的当前位置和目标位置步骤之前，所述方法还包括：

根据智能体的当前动作策略和预设探索噪声通过初始TSEB-DDPG模型控制所述智能体移动；

实时获取所述智能体移动过程中的经验信息，并将所述经验信息添加至经验缓冲池；

根据三阶梯采样机制实时从所述经验缓冲池中采集训练经验信息；

根据所述训练经验信息训练所述初始TSEB-DDPG模型，并在满足预设条件时，获得预设TSEB-DDPG模型。

3.如权利要求2所述的方法，所述经验缓冲池包括优秀轨迹经验缓冲池、碰撞轨迹经验缓冲池和实时轨迹经验缓冲池，其特征在于，所述根据三阶梯采样机制实时从所述经验缓冲池中采集训练经验信息，包括：

获取所述智能体移动过程中预设次数的平均奖励，并根据所述平均奖励确定训练阶段判断指标；

根据前后步进关系奖励机制确定所述智能体在移动过程中获得的当前奖励；

根据所述训练阶段判断指标、所述当前奖励和预设指标阈值判断所述智能体处于的训练阶段，并根据训练阶段确定各经验缓冲池的采样比例；

根据所述采样比例从所述优秀轨迹经验缓冲池、所述碰撞轨迹经验缓冲池和所述实时轨迹经验缓冲池中采集训练经验信息。

4.如权利要求3所述的方法，其特征在于，所述实时获取所述智能体移动过程中的经验信息，并将所述经验信息添加至经验缓冲池，包括：

实时获取所述智能体移动过程中的经验信息，并从所述经验信息中选取碰撞轨迹信息；

将所述碰撞轨迹信息添加至所述碰撞轨迹经验缓冲池，并将实时轨迹信息添加至所述实时轨迹经验缓冲池。

5.如权利要求3所述的方法，其特征在于，所述根据前后步进关系奖励机制确定所述智能体在移动过程中获得的当前奖励，包括：

获取所述智能体的当前位置坐标和与所述当前位置坐标相邻的历史位置坐标；

获取所述智能体所处空间中的障碍物坐标集合；

根据当前位置坐标、历史位置坐标与障碍物坐标集合之间的从属关系确定所述智能体在移动过程中获得的当前奖励。

6.如权利要求3所述的方法，其特征在于，所述根据所述训练阶段判断指标、所述当前奖励和预设指标阈值判断所述智能体处于的训练阶段，并根据训练阶段确定各经验缓冲池的采样比例，包括：

获取所述优秀轨迹经验缓冲池的优秀轨迹平均奖励；

在所述训练阶段判断指标不大于预设指标阈值且所述当前奖励不大于优秀轨迹平均奖励时，将第一预设比例作为所述智能体处于学步阶段时各经验缓冲池的采样比例；

在所述训练阶段判断指标大于预设指标阈值时，将第二预设比例作为所述智能体处于蹒跚阶段时各经验缓冲池的采样比例；

在所述当前奖励大于优秀轨迹平均奖励时，将第三预设比例作为所述智能体处于酷跑阶段时各经验缓冲池的采样比例。

7.如权利要求3所述的方法，其特征在于，所述获取所述智能体移动过程中预设次数的平均奖励，并根据所述平均奖励确定训练阶段判断指标，包括：

获取所述智能体移动过程中的平均奖励，根据最小二乘法和所述平均奖励在预设坐标系中拟合训练阶段判断直线；

将所述训练阶段判断直线的斜率作为训练阶段判断指标。

8.一种智能体实时路径规划装置，其特征在于，所述装置包括：

获取模块，用于获取智能体的当前位置和目标位置；

确定模块，用于根据所述当前位置及所述目标位置通过预设TSEB-DDPG模型确定所述智能体的路径规划路线；

控制模块，用于根据所述路径规划路线控制所述智能体从所述当前位置移动至所述目标位置。