[发明专利]一种动态视觉机械臂抓取方法、系统及电子设备

权利要求书

1.一种动态视觉机械臂抓取方法，其特征在于，包括：

S1、采集图像信息，对所述图像信息进行解析参数，得到解析后的图像信息；

S2、通过分割算法对所述解析后的图像信息进行分割，得到图像的分割信息；

S3、根据所述图像的分割信息对3D点云进行分区，得到多个分区的点云数据；

S4、将每个所述分区的点云数据进行魔方切割，并拟合魔方切割后的每个空间的平面；

S5、根据拟合后的平面，计算机械臂最佳抓取信息，并发送至机械臂。

2.根据权利要求1所述的一种动态视觉机械臂抓取方法，其特征在于：所述图像信息包括包裹和机械臂图像信息。

3.根据权利要求2所述的一种动态视觉机械臂抓取方法，其特征在于：所述图像的分割信息包括每个包裹的类别、最小正矩形以及边界轮廓线。

4.根据权利要求3所述的一种动态视觉机械臂抓取方法，其特征在于，所述步骤S2中的通过分割算法对所述解析后的图像信息进行分割，得到图像的分割信息包括：

S21、所述分割算法采用深度学习分割算法，以Mask_RCNN算法为基础，特征提取部分采用ResNet50结构，使用FPN网络产生不同分辨率的特征图像；

S22、在所述不同分辨率的特征图像上使用RPN网络结构产生区域框建议，对提取到的图像中的目标区域进行卷积，得到每个包裹的类别、最小正矩形以及边界轮廓线。

5.根据权利要求1所述的一种动态视觉机械臂抓取方法，其特征在于，所述步骤S4中的将每个所述分区的点云数据进行魔方切割，并拟合魔方切割后的每个空间的平面包括：

S41、将每个所述分区的点云数据按照xyz坐标轴进行等距分段，分割为多个魔方空间；

S42、每个所述魔方空间包括多个点云数据；

S43、通过最小二乘法拟合每个所述魔方空间的平面。

6.根据权利要求1所述的一种动态视觉机械臂抓取方法，其特征在于，所述步骤S5中的根据拟合后的平面，计算机械臂最佳抓取信息，并发送至机械臂包括：

S51、将拟合后的平面拼接，得到拼接后的平面；

S52、选取拼接后的平面中最适合抓取的平面；

S53、确定所述最适合抓取的平面的中心，计算最适合抓取的平面的法向量，根据所述法向量计算机械臂的角度。

7.一种动态视觉机械臂抓取系统，其特征在于，包括：

摄像机，用于采集图像信息，对所述图像信息进行解析参数，得到解析后的图像信息；

分割单元，用于通过分割算法对所述解析后的图像信息进行分割，得到图像的分割信息；

分区单元，用于根据所述图像的分割信息对3D点云进行分区，得到多个分区的点云数据；

魔方切割单元，用于将每个所述分区的点云数据进行魔方切割，并拟合魔方切割后的每个空间的平面；

计算单元，用于根据拟合后的平面，计算机械臂最佳抓取信息，并发送至机械臂。

8.一种电子设备，包括处理器和存储器，所述存储器存储有程序指令，其特征在于：所述处理器运行程序指令实现如权利要求1-6任意一项所述的动态视觉机械臂抓取方法。