[发明专利]基于深度学习的快速自动抓取与摆放方法

摘要

本发明公开了一种基于深度学习的快速自动抓取与摆放方法。该方法采用深度学习的方案，结合GPU和3D相机可以快速、准确的确定物品的位置和姿态。本发明通过快速的标定方案，可以获得3D相机坐标系到机械臂坐标系的转移矩阵。转移矩阵可以将物品的位置和姿态转换到机械臂坐标系下，然后操作机械臂进行抓取。为了精确的将物品以特定的方式放置，本发明对物品进行二次姿态估计。二次姿态估计的方式是，首先将物品以固定姿态抓取到估计位置。此时仅用深度信息将物品比较完整的分割出来。之后将其投影到放置平面上。平面上的信息进行准确的姿态估计，可供机械臂进行放置。

主权项

1.一种基于深度学习的快速自动抓取与摆放方法，其特征在于，该方法包括如下步骤：步骤1：安装机械臂和3D相机，使机械臂的操作范围应与3D相机的可视范围重合；步骤2：对3D相机和机械臂进行标定，确定两个坐标系之间的转移矩阵；步骤3：3D相机对目标物体进行图片数据的采集和标注，利用CNN(卷积神经网络)对标注好的数据进行训练，获得深度学习模型；步骤4：3D相机对物体进行图片数据的采集，将采集的图片数据输入到步骤3训练好的深度学习模型中，获得物品在图像中的2D位置信息，结合3D相机的深度信息和相机的内参可以计算出物品中心在相机坐标系下的3D位置信息；步骤5：通过步骤2获得的转移矩阵，结合步骤4的获得的物品2D和3D位置信息，可以获得物品在机械臂坐标系下的位置信息；步骤6：根据步骤5获得的物品在机械臂下的坐标，控制机械臂对物品进行抓取，并放置到特定位置，再次利用3D相机进行拍摄，获得物品的深度点云数据，并将点云投影到水平面上，利用最小包围盒的方法，确定物品的位置和姿态，并完成3D的坐标转换，从而完成二次定位的过程。步骤7：由步骤6获得的位置和姿态，将机械臂末端执行器调整到相应位置和姿态，将物品依照次序整齐摆放在设定地点，完成物品的摆放。