[发明专利]基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统

说明书

本发明公开了一种基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统。方法包括：通过三维测量系统获得手眼标靶的二维图像和三维点云数据，然后根据手眼标靶的三维点云数据获得各标靶点在相机坐标系下的空间坐标，再根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标，得到手眼关系矩阵，并将该手眼关系矩阵应用于具体场景中的目标工件的抓取，通过三维测量系统获取目标工件的二维图像和三维点云数据，然后获取目标工件在相机坐标系下的空间坐标，通过手眼关系矩阵，可获得目标工件在机械臂坐标系下的空间坐标，再通过粗匹配操作和精匹配操作得到所述目标工件的精准位置和姿态，即可实现控制机械臂对目标工件进行精准抓取。

技术领域

本发明涉及智能控制领域，尤其涉及一种基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统。

背景技术

目前，工业自动化装配受到越来越多的关注，由视觉引导机械手(或称机械臂)进行工业装配是实现工业自动化的重要途径，在机械手执行任务的过程中，控制机械手定位到目标位置是一个非常关键的问题。

传统手眼标定(eye-to-hand)方法通常借助平面棋盘格作为标定靶，标定过程中将棋盘格固定于机械臂末端，并控制机械臂在相机视野范围内进行多次姿态变换，然而对于某些自由度较少的机械臂，例如在工业上常用的结构较为简单的四轴机械臂，末端的运动姿态范围平行于水平面，无法达到以上标定要求，并且在手眼标定的结构下标定过程会存在视觉遮挡等问题，所以传统的手眼标定方法在某些应用场景下具有一定的局限性；工业上针对四轴机械臂的标定方法一般采用的是Halcon(高性能通用图像处理算法软件)中所集成的平面九点法，该方法牺牲了空间中Z方向的自由度，导致机械臂运动过程中Z轴位置固定，机械臂末端只能在平面X、Y方向上移动，在工业上的应用局限于二维平面上的定位与抓取，限制了四自由度机械臂的使用场景，无法完全发挥其在空间中的运动状态。

基于点云信息进行位姿估计，传统的做法是采用迭代最近点算法(IterativeClosest Point，ICP)及其改进方法；但是其最大的一个缺点就是受初始给定位姿的精度影响，易陷入局部最优；目前解决的办法是采用全局配准加ICP的方法，来尽可能获得精确的位姿；全局位姿配准算法主要基于点云的特征，根据特征点对点云进行点对匹配，根据这些点可以计算点云的初始变换矩阵；但是基于点云特征求解初始位姿的方法都有一个问题，就是对于几何特征本来就不丰富的点云，求解效果不佳，因此导致ICP求解的位姿精度不高。

对于基于点云位姿估计问题，目前也有学者通过深度学习的方法进行尝试；通过将点云数据输入到三维的卷积神经网络中，可以直接预测物体的3D位姿；但是基于深度学习的方法，需要使用大量的数据进行训练，目前采用深度学习的方法进行基于点云的位姿估计，主要还是采用公开的数据集中的数据，主要针对生活场景下的一些物品的位姿估计，其位姿估计精度太低，并不能满足工业场景下机器人抓取和装配精度需求。同时深度学习的方法，需要消耗较多的时间做训练，并且其计算设备的价格都是极其昂贵的，目前工业还并不普及。

针对以上传统方法和深度学习的方法存在的问题，现有技术中的机器人对待抓取物品的位姿估计精度还有待提高。

发明内容

本发明的目的是提供一种基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统，旨在解决现有技术中的机器人对待抓取物品的位姿估计精度不高的问题。

第一方面，本发明实施例提供了一种基于三维测量引导机械臂抓取散乱堆叠工件的方法，其包括：

通过三维测量系统获得手眼标靶的二维图像和三维点云数据；

对所述手眼标靶的二维图像进行识别，提取所述手眼标靶的边缘信息，并映射至三维空间，然后从所述手眼标靶的三维点云数据中分割出单个标志图形进行拟合获得其中心的标靶点，得到各标靶点在相机坐标系下的空间坐标，并对各标靶点进行排序得到排序结果；

示教机械臂末端夹具根据排序结果依次对各个标靶点进行测量，得到各个标靶点在机械臂坐标系下的空间坐标；