[发明专利]一种基于深度学习的料框内散乱多物体机器人分拣方法

说明书

本发明公开了一种基于深度学习的料框内散乱多物体机器人分拣方法，包括：在料框的范围内选取若干可分拣候选区域，将每一可分拣候选区域的图像和深度图输入CNN网络以判断是否为可分拣区域，将可分拣区域的中心记录为可分拣点；通过聚类算法选取较优的可分拣点，计算较优的可分拣点的法向量，并结合法向量、机器人的可达位置、料框的防碰撞剔除不合格的可分拣点；从剩余的可分拣点中随机选择一可分拣点，通过所选择的可分拣点的坐标和法向量控制六自由度机械臂和吸盘手爪分拣可分拣点的物体.本发明利用深度学习优异的特征提取能力自动学习散乱件是否可分拣的特征，能够有效应对频繁变更的零件种类、相互遮挡和分拣对象的不确定性。

技术领域

本发明涉及视觉分拣的技术领域，尤其涉及一种料框内散乱多物体机器人分拣方法。

背景技术

现代智能制造和仓储物流行业给工业机器人的视觉分拣带来新的挑战，包括频繁变更的零件种类、零件的混装和相互遮挡以及分拣对象的不确定性。目前机器人料筐散乱件分拣主要采用三维视觉来获得物体点云信息，通过建立视觉模板或者组合人工特征的方式进行分拣物体的识别。这种视觉编程方法一方面依赖视觉工程师的编程经验，另一方面无法适应频繁变更的分拣对象和不可知的工作环境，无法应对现代制造业和仓储物流带来的挑战。

发明内容

有鉴于此，本发明的目的在于提供一种基于深度学习的料框内散乱多物体机器人分拣方法。

为了实现上述目的，本发明采取的技术方案为：

一种基于深度学习的料框内散乱多物体机器人分拣方法，包括RGB-D 摄像头和具有六自由度机械臂的机器人，所述六自由度机械臂的末端设有吸盘手爪，其中，所述分拣方法包括：

步骤S1：将包含若干种散乱堆放物体的料框放置于所述RGB-D摄像头的视野范围内，所述RGB-D摄像头对所述料框的边缘进行视觉检测以确定所述料框的范围；

步骤S2：在所述料框的范围内选取若干可分拣候选区域，将每一所述可分拣候选区域的图像和深度图输入CNN分拣预测网络以判断是否为可分拣区域，并将所述可分拣区域的中心标记为可分拣点；

步骤S3：记录所有的所述可分拣点，通过聚类算法选取较优的所述可分拣点，计算较优的所述可分拣点的法向量，并结合所述法向量、所述机器人的可达位置、所述料框的防碰撞剔除不合格的所述可分拣点；

步骤S4：从剩余的所述可分拣点中随机选择一所述可分拣点，通过所选择的所述可分拣点的坐标和法向量控制所述六自由度机械臂和所述吸盘手爪分拣所述可分拣点的物体；

步骤S5：重复所述步骤S2至所述步骤S4，直至所述料框内的物体分拣完成。

上述的基于深度学习的料框内散乱多物体机器人分拣方法，其中，在所述步骤S1中，所述RGB-D摄像头与所述六自由度机械臂进行外参数坐标标定，从所述RGB-D摄像头获取的RGB图像中检测所述料框的边缘以确定所述料框的范围。

上述的基于深度学习的料框内散乱多物体机器人分拣方法，其中，在所述步骤S2中，选取若干可分拣候选区域的方法为逐行逐列获取，通过步幅设置覆盖所述料框的所有范围。

上述的基于深度学习的料框内散乱多物体机器人分拣方法，其中，在所述步骤S2中，所述可分拣区域为正方形，所述可分拣区域的边长为所述物体中的最大物体的尺寸的60～80％。

上述的基于深度学习的料框内散乱多物体机器人分拣方法，其中，在所述步骤S3中，所述聚类算法通过判断连续分拣点，选取行列连续的可分拣点的中间值作为较优的所述可分拣点。

上述的基于深度学习的料框内散乱多物体机器人分拣方法，其中，所述 CNN分拣预测网络包括CNN网络构建、训练数据库的搜集、CNN网络权重的学习和CNN网络预测。