[发明专利]一种煤矿自主巡检平台上的机械臂运动规划方法和装置

权利要求书

1.一种煤矿自主巡检平台上机械臂运动规划方法，其特征在于，包括以下步骤：

检测机械臂可达范围内的障碍物；

对所述障碍物进行体素化处理，获得所述障碍物的体素向量；

获取所述机械臂的目标位姿向量和所述机械臂当前时刻的关节角度向量；

将所述体素向量、所述机械臂的目标位姿向量和所述机械臂当前时刻的关节角度向量输入至预先训练的运动规划器，获得所述机械臂下一时刻的关节角度变化量；

根据所述机械臂下一时刻的关节角度变化量，控制所述机械臂完成下一步动作。

2.根据权利要求1所述的方法，其特征在于，所述运动规划器通过以下步骤预先训练得到：

创建仿真环境；

观察所述仿真环境中机械臂样本当前时刻的关节角度向量、所述机械臂样本的目标位姿向量和障碍物样本当前时刻的体素向量，并获得所述机械臂样本下一时刻的关节角度变化量；

在所述仿真环境中根据所述下一时刻的关节角度变化量，控制所述机械臂样本完成下一步运动；

观察执行所述下一步动作之后的所述机械臂样本的状态和所述障碍物样本状态、奖励信号和任务终止信号；

将执行所述下一步动作之后的所述机械臂样本的状态确定为所述机械臂样本下一时刻的关节角度向量，并将执行所述下一步动作之后的所述障碍物样本状态确定为所述障碍物样本下一时刻的体素向量；

将所述机械臂样本当前时刻的关节角度向量、所述机械臂样本的目标位姿向量和所述障碍物样本当前时刻的体素向量、所述机械臂样本下一时刻执行的动作、所述机械臂样本下一时刻的关节角度向量、所述障碍物样本下一时刻的体素向量、所述奖励信号和任务终止信号，作为训练数据；

基于强化学习算法，采用所述训练数据对策略神经网络的参数进行更新，获得所述策略神经网络的模型参数，并根据所述模型参数生成所述运动规划器。

3.根据权利要求2所述的方法，其特征在于，所述基于强化学习算法，采用所述训练数据对策略神经网络的参数进行更新，包括：

根据所述训练数据，计算Q神经网络训练标签；

根据所述训练数据，计算Q神经网络预测数据；

根据所述Q神经网络训练标签和所述Q神经网络预测数据，计算所述Q神经网络的梯度向量；

根据所述Q神经网络的梯度向量，更新策略神经网络的参数。

4.根据权利要求3所述的方法，其特征在于，所述根据所述Q神经网络的梯度向量，更新策略神经网络的参数，包括：

根据所述Q神经网络的梯度向量，更新所述Q神经网络函数值；

根据所述Q神经网络函数值，所述更新策略神经网络的参数。

5.根据权利要求3或4所述的方法，其特征在于，所述Q神经网络训练标签通过以下公式计算：

其中，r为所述奖励信号；sˊ为下一时刻的状态向量，包括所述机械臂样本下一时刻的关节角度向量、所述障碍物样本下一时刻的体素向量和所述机械臂样本的目标位姿向量；d为所述任务终止信号；γ为第一折扣系数，其中γ的范围为0～1；为将所述下一时刻的状态向量sˊ输入至策略神经网络后做出的动作；为第i个Q神经网络在所述下一时刻的状态向量sˊ下做出所述动作的概率；α为第二折扣系数；为所述策略神经网络在所述下一时刻的状态向量sˊ下做出所述动作的概率。

6.一种煤矿自主巡检平台上机械臂运动规划装置，其特征在于，包括：

检测模块，用于检测机械臂可达范围内的障碍物；

处理模块，用于对所述障碍物进行体素化处理，获得所述障碍物的体素向量；

获取模块，用于获取所述机械臂的目标位姿向量和所述机械臂当前时刻的关节角度向量；

规划模块，用于将所述体素向量、所述机械臂的目标位姿向量和所述机械臂当前时刻的关节角度向量输入至预先训练的运动规划器，获得所述机械臂下一时刻的关节角度变化量；

控制模块，用于根据所述机械臂下一时刻的关节角度变化量，控制所述机械臂完成下一步动作。