[发明专利]一种导航寻路方法、机器人及系统

权利要求书

1.一种导航寻路方法，其特征在于，包括：

通过采集设备采集机器人在训练运动过程中的环境信息，并根据所述训练运动过程中的环境信息生成训练数据；

利用所述训练数据采用深度强化学习的方法训练深度神经网络，以使训练后的所述深度神经网络适于根据寻路数据进行决策分析，并指示所述机器人向导航目标做寻路运动，所述寻路数据根据所述采集设备在寻路应用过程中采集的数据和所述导航目标得到；

还包括：

a：将所述寻路数据送入训练后的所述深度神经网络并进行前向传播，以得到最优运动数据；

b：使用所述最优运动数据指示所述机器人向导航目标做寻路运动。

2.根据权利要求1所述的导航寻路方法，其特征在于，所述采集设备包括以下一种或多种：超声采集设备、激光采集设备、雷达、红外采集设备、超宽带采集设备、摄像头和3D体感摄影机。

3.根据权利要求1所述的导航寻路方法，其特征在于，所述生成训练数据的过程包括：

确定所述训练运动过程包含的至少一个运动操作，所述运动操作根据对应的运动数据的指示完成；

确定每一运动操作的运动前状态数据和运动后状态数据，所述运动前状态数据包括所述运动操作执行前的环境信息，所述运动后状态数据包括所述运动操作执行后的环境信息；

根据所述运动前状态数据和所述运动后状态数据计算反馈奖励数值；

将所述运动数据及其运动前状态数据、运动后状态数据以及反馈奖励数值作为所述训练数据。

4.根据权利要求3所述的导航寻路方法，其特征在于，所述利用所述训练数据训练深度神经网络包括：

S51：将所述训练数据中的所述运动前状态数据送入所述深度神经网络并进行前向传播，以获取所述训练数据中的所述运动数据的价值函数值，所述运动数据的价值函数值用于评价所述机器人进行的运动操作在导航全程中对于到达训练目标的价值；

S52：将所述训练数据中的运动后状态数据送入所述深度神经网络并进行前向传播，以获得所述深度神经网络输出的各个所述运动数据的价值函数值；

S53：根据所述深度神经网络输出的各个所述运动数据的价值函数值中的最大值，以及所述运动数据的反馈奖励数值，计算目标价值函数值；

S54：根据所述训练数据、所述运动数据的价值函数值以及所述目标价值函数值进行反向传播，以更新所述深度神经网络的参数；

根据上述步骤S51至S54迭代更新所述深度神经网络的参数，直至所述深度神经网络达到收敛。

5.根据权利要求3或4所述的导航寻路方法，其特征在于，所述计算反馈奖励数值包括：根据所述运动前状态数据和所述运动后状态数据，分别获取所述运动操作前后所述机器人与障碍物的距离，并且分别获取所述运动操作前后所述机器人与训练目标信息的距离；根据所述运动操作前后所述机器人与障碍物的距离和所述运动操作前后所述机器人与训练目标信息的距离，计算所述反馈奖励数值。

6.根据权利要求5所述的导航寻路方法，其特征在于，依据以下公式计算所述反馈奖励数值r：

其中，β、δ均为调整系数，TD1表征所述运动操作前所述机器人与训练目标的距离，TD2表征所述运动操作后所述机器人与训练目标的距离，OD1表征所述机器人在执行所述运动操作之前与障碍物的距离，OD2表征所述机器人在执行所述运动操作之后与障碍物的距离。

7.根据权利要求4所述的导航寻路方法，其特征在于，在所述反向传播的过程中采用minibatch梯度下降法。

8.根据权利要求4所述的导航寻路方法，其特征在于，所述深度神经网络的输出的各个所述运动数据选自预设的运动集合。

9.根据权利要求4所述的导航寻路方法，其特征在于，根据贝尔曼方程计算所述目标价值函数值。

10.根据权利要求3所述的导航寻路方法，其特征在于，使用贪心探索算法产生所述运动数据。