[发明专利]机器人抓取方法、装置、电子设备及存储介质

权利要求书

1.一种机器人抓取方法，其特征在于，应用于电子设备，所述电子设备与机器人通信连接，所述机器人安装有相机；所述方法包括：

获取所述相机在多个视角下对目标物体进行拍摄得到的图像集及每个视角对应的相机参数；

将所述图像集和每个所述相机参数输入检测模型，利用所述检测模型对所述图像集进行预测，得到所述目标物体的第一坐标的预测值，其中，所述第一坐标为所述目标物体的关键点的三维坐标；

根据所述第一坐标的预测值和所述关键点之间的空间几何关系，计算得到所述目标物体的位姿参数，其中，所述位姿参数用于表征所述目标物体的空间位置及姿态；

根据所述位姿参数和抓取模型，控制所述机器人完成所述目标物体的抓取，其中，所述抓取模型是利用强化学习的方式进行训练得到的。

2.如权利要求1所述的方法，其特征在于，所述检测模型包括目标检测网络、二维检测网络和三维检测网络，所述图像集包括多个视角对应的图像；

所述将所述图像集和每个所述相机参数输入检测模型，利用所述检测模型对所述图像集进行预测，得到所述目标物体的第一坐标的预测值的步骤，包括：

将所述图像集输入所述目标检测网络，利用所述目标检测网络对所述图像集中的图像进行剪裁，得到剪裁后的图像；

将所述剪裁后的图像输入所述二维检测网络，利用所述二维检测网络对每个剪裁后的图像进行特征提取，得到每个图像对应的二维特征图和每个图像对应的置信度，其中，所述二维特征图用于表征所述目标物体的关键点在所述图像中的二维坐标，所述置信度用于表征每个所述图像对应的视角下目标物体的真实度；

将所有所述二维特征图、所述置信度和所述相机参数输入所述三维检测网络，将所述置信度作为权重利用所述三维检测网络对所有所述二维特征图进行处理，得到所述目标物体的第一坐标的预测值。

3.如权利要求2所述的方法，其特征在于，所述三维检测网络包括三维映射网络、三维卷积网络和损失函数回归模型；

所述将所有所述二维特征图、所述置信度和所述相机参数输入所述三维检测网络，将所述置信度作为权重利用所述三维检测网络对所有所述二维特征图进行处理，得到所述目标物体的第一坐标的预测值的步骤，包括：

将所有所述二维特征图、所述置信度和所述相机参数输入所述三维映射网络，利用反向投影的方式，得到所述目标物体的三维特征图，其中，所述三维特征图用于表征所述目标物体的三维空间信息，所述三维特征图包括多个通道，每个所述通道和每个所述目标物体的关键点一一对应；

将所述三维特征图输入所述三维卷积网络，利用所述三维卷积网络对所述三维特征图进行特征提取，得到每个所述关键点对应的三维特征图；

将所有所述关键点对应的三维特征图输入所述损失函数回归模型，利用所述损失函数回归模型对所有所述关键点对应的三维特征图做归一化处理，得到所述目标物体的第一坐标的预测值。

4.根据权利要求1所述的方法，其特征在于，所述机器人包括夹爪，所述根据所述位姿参数和抓取模型，控制所述机器人完成所述目标物体的抓取的步骤，包括：

获取t时刻的状态参数，所述状态参数包括夹爪末端的位姿参数、所述夹爪末端的速度，所述夹爪的开合状态；

将所述状态参数、所述目标物体的位姿参数及最大置信度对应的相机参数输入所述抓取模型，得到t时刻的动作参数，所述动作参数包括所述夹爪末端的速度、所述夹爪的旋转角及所述夹爪的开合状态；

控制所述机器人按照所述动作参数运动，完成t时刻的动作，并获取t+1时刻的状态参数；

重复执行将所述状态参数、所述目标物体的位姿参数及最大置信度对应的相机参数输入所述抓取模型，得到t时刻的动作参数的步骤，直至所述机器人完成所述目标物体的抓取。