[发明专利]基于视觉和主动交互的包装箱分割错误的检测与矫正方法

权利要求书

1.一种基于视觉和主动交互的包装箱分割错误的检测与矫正方法，其特征在于，所述基于视觉和主动交互的包装箱分割错误的检测与矫正方法包括以下步骤：

步骤一：基于目标检测模型结果的区域提取；根据目标检测模型的预测得到对应包装箱的掩码结果，取出对应的图片像素区域；将对应的掩码区域转化成三维点云；采用随机抽样一致算法对包装箱的抓取平面进行提取，将属于平面的局内点作为最终有效点集，采用计算点集的最小面积包围矩形的算法，估算出包装箱抓取顶面的矩形边界；

步骤二：基于二维视觉算法的疑似错误分割检测；根据已经提取出包装箱抓取面矩形包围框，将对应的包装箱从RGB图像中分割出来，进行疑似错误分割检测；

步骤三：基于主动交互式策略的错误分割判定；采用机器人主动交互式的方式，对疑似错误的分割进行逐一认定；

步骤四：错误分割的矫正及正确抓取位置计算；在机器人对疑似错误箱体进行移动之后，通过二次拍照检测，将之前的错误分割进行矫正；矫正后采用对抓取点估计的方法重新计算包装箱的抓取点位置以及姿态；

所述步骤一中，将对应的掩码区域转化成三维点云，采用深度图转三维点云算法，具体为：

一个空间点[x，y，z]和它在图像中的像素坐标[u，v，d]的对应关系如下：

d＝z·s

其中，f_x，f_y是指相机在x，y两个轴上的焦距，C_x，C_y指相机的光圈中心，s指深度图的缩放因子；从(x，y，z)推导到(u，v，d)，可以写成已知(u，v，d)，推导(x，y，z)的方式；从深度图得到三维点云：

z＝d/s

x＝(u-c_x)·z/f_x

y＝(v-c_y)·z/f_y。

2.如权利要求1所述的基于视觉和主动交互的包装箱分割错误的检测与矫正方法，其特征在于，所述步骤二中，错误分割检测分为欠分割检测和过分割检测。

3.如权利要求2所述的基于视觉和主动交互的包装箱分割错误的检测与矫正方法，其特征在于，所述步骤二中，欠分割检测，采用边缘检测算法进行欠分割处理，具体为：

(1)对当前的包装箱区域进行边缘线提取；

(2)对所有提取的边缘线进行二次处理。

4.如权利要求2所述的基于视觉和主动交互的包装箱分割错误的检测与矫正方法，其特征在于，所述步骤二中，过分割检测，采用相邻包围框检测的算法，对过分割的箱子进行识别，具体为：

(1)根据目标检测模型的结果，对所有的包装箱的最小包围矩形进行提取；

(2)以最高包装箱的高度为准，查找在同一高度上的其余包装箱，将得到的包装箱通过筛选条件进行逐一匹配排除；

(3)通过检测流程，将潜在的过分割包装箱识别出来。

5.如权利要求4所述的基于视觉和主动交互的包装箱分割错误的检测与矫正方法，其特征在于，所述步骤(2)中，筛选条件具体为：

(1)包装箱的抓取面的法向必须一致；

(2)包装箱的最小包围矩形的边必须有一条长度相同；

(3)包装箱的最小包围矩形的某一边必须临近，近似共边。

6.如权利要求1所述的基于视觉和主动交互的包装箱分割错误的检测与矫正方法，其特征在于，所述步骤三中，错误分割判定，具体为：

利用机器人抓手对疑似分割错误的箱子进行试抓取，在水平方向上进行一定的移动，同时追踪已检测的包装箱位置，通过前后两次包装箱的位置和大小的变化来最终判断是否存在欠分割和过分割的问题。