[发明专利]一种运动控制决策生成方法、装置、电子设备及存储介质

权利要求书

1.一种运动控制决策生成方法，其特征在于，包括：

基于激光雷达获取的目标区域的第一点云信息和相机获取的所述目标区域的RGB图像信息，确定所述RGB图像信息对应的深度预测图；

基于所述深度预测图投影到三维空间中的第二点云信息，确定目标点云信息，以及根据所述目标点云信息和所述第一点云信息，获得第三点云信息；

根据所述第三点云信息，确定目标多元状态数据，并将所述目标多元状态数据输入多阶段训练后的深度强化学习控制决策模型，得到目标运动控制决策。

2.根据权利要求1所述的运动控制决策生成方法，其特征在于，在所述确定目标点云信息之前，还包括：

根据所述深度预测图中每个像素点的深度信息，计算每个所述像素点在世界坐标系下的第一高度；

根据各个所述像素点的第一高度和预设高度阈值，对所述深度预测图进行处理，得到过滤后的目标深度图；

基于所述目标深度图，确定所述第二点云信息；

其中，所述预设高度阈值是基于地面在世界坐标系下的高度和所述相机在世界坐标系下的高度确定的。

3.根据权利要求1所述的运动控制决策生成方法，其特征在于，所述基于所述深度预测图投影到三维空间中的第二点云信息，确定目标点云信息，包括：

基于所述第二点云信息在世界坐标系下的坐标信息，对所述第二点云信息进行分组，得到多组第四点云信息；

根据每组所述第四点云信息与所述相机之间的距离，确定目标点云信息。

4.根据权利要求1所述的运动控制决策生成方法，其特征在于，所述根据所述目标点云信息和所述第一点云信息，获得第三点云信息，包括：

将所述目标点云信息转换到雷达坐标系下，得到所述目标点云信息对应的第五点云信息；

根据所述第五点云信息，对所述第一点云信息进行更新，得到第三点云信息；

其中，所述雷达坐标系是基于所述第一点云信息在世界坐标系下的坐标信息确定的。

5.根据权利要求1所述的运动控制决策生成方法，其特征在于，所述将所述目标多元状态数据输入多阶段训练后的深度强化学习控制决策模型之前，还包括：

将一个包含雷达点云样本数据的多元状态数据样本作为一组训练样本，获取多组训练样本；

利用所述多组训练样本，对深度强化学习控制决策模型进行多阶段训练，当满足预设收敛条件时，停止训练，得到多阶段训练后的深度强化学习控制决策模型。

6.根据权利要求5所述的运动控制决策生成方法，其特征在于，所述利用所述多组训练样本，对深度强化学习控制决策模型进行多阶段训练，包括：

对于任意一组所述训练样本，将所述训练样本输入深度强化学习控制决策模型进行第一阶段训练，利用第一价值函数得到所述训练样本对应的第一收益奖励值；在所述第一收益奖励值收敛的情况下，停止第一阶段训练，得到第一深度强化学习控制决策模型；

对于任意一组所述训练样本，将所述训练样本输入所述第一深度强化学习控制决策模型进行第二阶段训练，利用第二价值函数得到所述训练样本对应的第二收益奖励值；在所述第二收益奖励值收敛的情况下，停止第二阶段训练，得到第二深度强化学习控制决策模型；

对于任意一组所述训练样本，将所述训练样本输入所述第二深度强化学习控制决策模型进行第三阶段训练，利用第三价值函数得到所述训练样本对应的第三收益奖励值；在所述第三收益奖励值收敛的情况下，停止第三阶段训练，得到多阶段训练后的深度强化学习控制决策模型。

7.根据权利要求6所述的运动控制决策生成方法，其特征在于，所述第一价值函数是根据预设欧氏距离缩减项、碰撞惩罚项和旋转角度惩罚项确定的；

所述第二价值函数是根据所述第一价值函数和预设全局奖惩项确定的；

所述第三价值函数是根据所述第一价值函数、预设最大时间步长和第二阶段训练的平均时间步长确定的。