[发明专利]一种动态视觉机械臂抓取方法、系统及电子设备

说明书

本发明公开一种动态视觉机械臂抓取方法、系统及电子设备。一种动态视觉机械臂抓取方法，包括采集图像信息，对所述图像信息进行解析参数，得到解析后的图像信息，通过分割算法对所述解析后的图像信息进行分割，得到图像的分割信息，根据所述图像的分割信息对3D点云进行分区，得到多个分区的点云数据，将每个所述分区的点云数据进行魔方切割，并拟合魔方切割后的每个空间的平面，根据拟合后的平面，计算机械臂最佳抓取信息，并发送至机械臂。本发明针对动态的物品包裹，以及针对多个种类的包裹实现对包裹的分类抓取，而且取放的成本较低、效率较高，达到机代人的效果，满足了动态物品包裹的市场需要。

技术领域

本发明涉及物流分拣技术领域，特别是涉及一种动态视觉机械臂抓取方法、系统及电子设备。

背景技术

随着电子商务的快速发展，物流快递行业每天都需要运送的包裹的规模也越来越大，对自动化分拣包裹的需求也越来越高。

目前快递分拣行业对于无序的动态的包裹抓取采用的是人为方式的取放，对于现有机械式抓取的案例大多也是针对有序且静态的物品包裹，来进行坐标定位的机械式抓取，现有技术中的抓取只能针对有序且静态的物品包裹，不能针对多个种类的包裹实现对包裹的分类抓取，而且取放的成本较高、效率较低，因此伴随着物流快递行业体量的剧增和市场的需求，动态物品包裹的取放方法成为市场的需要。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种动态视觉机械臂抓取方法、系统及电子设备，用于解决现有技术中的不能针对多个种类的包裹实现对包裹的分类抓取，而且取放的成本较高、效率较低的问题。

为实现上述目的及其他相关目的，本发明提供一种动态视觉机械臂抓取方法，包括：

S1、采集图像信息，对所述图像信息进行解析参数，得到解析后的图像信息；

S2、通过分割算法对所述解析后的图像信息进行分割，得到图像的分割信息；

S3、根据所述图像的分割信息对3D点云进行分区，得到多个分区的点云数据；

S4、将每个所述分区的点云数据进行魔方切割，并拟合魔方切割后的每个空间的平面；

S5、根据拟合后的平面，计算机械臂最佳抓取信息，并发送至机械臂。

在本发明的一实施例中，所述图像信息包括包裹和机械臂图像信息。

在本发明的一实施例中，所述图像的分割信息包括每个包裹的类别、最小正矩形以及边界轮廓线。

在本发明的一实施例中，所述步骤S2中的通过分割算法对所述解析后的图像信息进行分割，得到图像的分割信息包括：

S21、所述分割算法采用深度学习分割算法，以Mask_RCNN算法为基础，特征提取部分采用ResNet50结构，使用FPN网络产生不同分辨率的特征图像；

S22、在所述不同分辨率的特征图像上使用RPN网络结构产生区域框建议，对提取到的图像中的目标区域进行卷积，得到每个包裹的类别、最小正矩形以及边界轮廓线。

在本发明的一实施例中，所述步骤S4中的将每个所述分区的点云数据进行魔方切割，并拟合魔方切割后的每个空间的平面包括：

S41、将每个所述分区的点云数据按照xyz坐标轴进行等距分段，分割为多个魔方空间；

S42、每个所述魔方空间包括多个点云数据；

S43、通过最小二乘法拟合每个所述魔方空间的平面。

在本发明的一实施例中，所述步骤S5中的根据拟合后的平面，计算机械臂最佳抓取信息，并发送至机械臂包括：

S51、将拟合后的平面拼接，得到拼接后的平面；