[发明专利]一种导航寻路方法、机器人及系统

说明书

本发明提供一种导航寻路方法、机器人及系统，所述方法通过采集设备采集机器人在训练运动过程中的环境信息，并根据所述训练运动过程中的环境信息生成训练数据；利用所述训练数据采用深度强化学习的方法训练深度神经网络，以使训练后的所述深度神经网络适于根据寻路数据进行决策分析，并指示所述机器人向导航目标做寻路运动，所述寻路数据根据所述采集设备在寻路应用过程中采集的数据和所述导航目标得到。本发明的导航寻路方法、机器人及系统的导航寻路的准确性更高。

技术领域

本发明涉及机器人技术领域，尤其涉及一种导航寻路方法、机器人及系统。

背景技术

在机器人技术领域中，机器人导航寻路的应用越来越多。机器人导航寻路是自主移动机器人导航功能的重要问题之一，机器人导航寻路的目的是使机器人在应用环境中，无碰撞的到达目的地。

现有的机器人导航寻路的准确性有待提升。

发明内容

本发明解决的技术问题是提升机器人导航寻路的准确性。

为解决上述技术问题，本发明实施例提供一种导航寻路方法，通过采集设备采集机器人在训练运动过程中的环境信息，并根据所述训练运动过程中的环境信息生成训练数据；利用所述训练数据采用深度强化学习的方法训练深度神经网络，以使训练后的所述深度神经网络适于根据寻路数据进行决策分析，并指示所述机器人向导航目标做寻路运动，所述寻路数据根据所述采集设备在寻路应用过程中采集的数据和所述导航目标得到。

可选的，所述采集设备包括以下一种或多种：超声采集设备、激光采集设备、雷达、红外采集设备、超宽带采集设备、摄像头和3D体感摄影机。

可选的，所述生成训练数据的过程包括：确定所述训练运动过程包含的至少一个运动操作，所述运动操作根据对应的运动数据的指示完成；确定每一运动操作的运动前状态数据和运动后状态数据，所述运动前状态数据包括所述运动操作执行前的环境信息，所述运动后状态数据包括所述运动操作执行后的环境信息；根据所述运动前状态数据和所述运动后状态数据计算反馈奖励数值；将所述运动数据及其运动前状态数据、运动后状态数据以及反馈奖励数值作为所述训练数据。

可选的，所述利用所述训练数据训练深度神经网络包括：将所述训练数据中的所述运动前状态数据送入所述深度神经网络并进行前向传播，以获取所述训练数据中的所述运动数据的价值函数值，所述运动数据的价值函数值用于评价所述机器人进行的运动操作在导航全程中对于到达训练目标的价值；将所述训练数据中的运动后状态数据送入所述深度神经网络并进行前向传播，以获得所述深度神经网络输出的各个所述运动数据的价值函数值；根据所述深度神经网络输出的各个所述运动数据的价值函数值中的最大值，以及所述运动数据的反馈奖励数值，计算目标价值函数值；根据所述训练数据、所述运动数据的价值函数值以及所述目标价值函数值进行反向传播，以更新所述深度神经网络的参数；根据上述步骤迭代更新所述深度神经网络的参数，直至所述深度神经网络达到收敛。

可选的，所述计算反馈奖励数值包括：根据所述运动前状态数据和所述运动后状态数据，分别获取所述运动操作前后所述机器人与障碍物的距离，并且分别获取所述运动操作前后所述机器人与训练目标信息的距离；根据所述运动操作前后所述机器人与障碍物的距离和所述运动操作前后所述机器人与训练目标信息的距离，计算所述反馈奖励数值。

可选的，依据以下公式计算所述反馈奖励数值r：

其中，β、δ均为调整系数，TD1表征所述运动操作前所述机器人与训练目标的距离，TD2表征所述运动操作后所述机器人与训练目标的距离，OD1表征所述机器人在执行所述运动操作之前与障碍物的距离，OD2表征所述机器人在执行所述运动操作之后与障碍物的距离。

可选的，在所述反向传播的过程中采用minibatch梯度下降法。

可选的，所述深度神经网络的输出的各个所述运动数据选自预设的运动集合。